Activation Function是將線性迴歸轉換為非線性函數，使神經網路更具通用性(Generalization)，類似Kernel PCA及Kernel...
上篇探討學習率的調整，接著討論優化器對模型訓練的影響。 優化器(Optimizer) 優化(Optimization)是以最小化損失函數為目標，尋找模型參數的最...
魔鬼藏在細節裡，要讓模型訓練更快速、更準確，必須進一步掌握模型的超參數(Hyperparameters)設定，包括如何動態調整學習率、選用各種優化器、損失函數、...
前四篇介紹梯度下降法，對神經網路求解，這次再舉幾個例子，幫助我們更靈活的應用梯度下降法，包括： 以自動微分實作手寫阿拉伯數字辨識，結合TensorFlow/K...
上一篇自行開發梯度下降法找到最佳解，這次我們使用TensorFlow低階API進行自動微分(Automatic Differentiation)，並實作多元線性...
前兩篇梯度下降法的求解都隱藏在一行程式碼 model.fit 中，這次使用自行開發實作梯度下降法，以瞭解內部求解的邏輯。 梯度下降法的作法 梯度下降法是利用正向...
上一篇介紹神經網路的基本概念，這次透過簡單的範例理解梯度下降法的運作。 最簡單的神經網路 範例. 以神經網路建構攝氏與華氏溫度轉換的模型，我們收集7筆資料如下：...
神經網路(Neural Network)是深度學習的基石，不管是大語言模型(ChatGPT)或生成式AI(MidJourney、Stable Diffusion...
在訓練神經網絡時，最常用的算法是反向傳播（back propagation）。在這個算法中，根據損失函數對給定參數的梯度，調整參數（模型權重）。 為了計算這些梯...
分解Cat vs Ravbbit模型中的各個層次。為了方便講解，我們將取一個大小為224x224的且批次為 10 (10張224*224大小的圖片)的隨機 te...
torch.nn 命名空間提供了構建自己的神經網路所需的所有基本組件。在PyTorch中，每個模組都是 nn.Module 的子類別。神經網路本身也是一個模組，...
簡介 透過文本捕捉語言結構，進而建立一個統計機率模型，廣義而言就可以被稱作一種語言模型。本文主要介紹透過神經網路訓練出來的語言模型，以及常見 Transform...
今天將以深度學習常見的手寫阿拉伯數字辨識的資料集訓練，keras提供了兩種類型的模型，第一個是Sequential model，適用於簡單的結構，一層一層的連接...
今日大綱 神經網路簡介 梯度下降法 (Gradient descent) 激活函數 (Activation function) 程式碼 神經網路簡介 下圖為...
今天沒有引言，但是有梗圖 前天的文章介紹了基本的循環神經網路RNN，但RNN的致命缺點是容易導致梯度下降或是梯度爆炸。為了要解決這個問題，必須在以下兩點...
記憶是個很奇妙的東西。他並不如我想像中那樣運作的。我們太受限於時間了，尤其是時間的順序...《異星入境》Louise Banks 昨天我們剛介紹完循環神經網...
前導介紹說到深度學習，首先需要了解什麼是類神經網路和它的操作方法。類神經網路，顧名思義就是仿造人類的神經而去打造而成的演算法，讓其能夠透過像是神經傳導一樣接收...
前言 不知不覺，鐵人賽的賽程已經來進行了一半，每天發文使得生活過得非常充實。也感謝這裡的許多高手發表優質文章，讓第一次參賽又是跨IT領域的自己感到無比熱血。大家...
更新紀錄: 2020/05/07-更新排版、代碼、參考文獻 前言: ESN是RNN的一個變種，優點在於訓練速度比一般RNN快幾百倍(用回歸求解矩陣)。主要參...
為什麼大家到現在都這麼迷神經網路模型？ 我想主因不是因為他是模擬生物而來，他有一些更扎實的數學特性。 我們前面講過各種線性模型，然後將他過渡到神經網路。 今天要...
我們把線性模型們都大統一了。 接下來就要進入到令人興奮的神經網路模型了！ 首先，我們先來介紹著名的感知器...嗯...前面不是介紹過了？ 喔喔！對喔！他長這個...
前言 在 Neural Network 的求解過程中，最重要而難懂的觀念應該是『梯度下降』(Gradient Descent)吧 ，我雖然在Day 03：Neu...
前言 當我們人生決定轉向，不能免俗的，一定要了解市場行情，免得誤入歧途，人財兩失。因此針對 Machine Learning 相關的工作進行了一番調查，除了工作...
資料處理流程(Process) 機器學習(Machine Learning)處理資料的生命週期(Life cycle) 與 Data Mining 是一致的，這...
前言 Facebook AI 大師 Yann LeCun 在接受Quora專訪時說『GAN及其變形是近十年最有趣的想法(This, and the variat...
前言 上一篇我們舉了一個很簡單的範例，判斷聲音是bed、cat 或是 happy，實務上它可以應用在一些場域，例如，PowerPoint簡報時，我們可以用聲音下...
前言 Neural Networks 在影像、文字、語音等自然使用者介面(NUI)處理有突破性的發展，之前我們已經見證過影像及文字的辨識威力了，從這一篇開始，我...
前言 上一篇我們以航空公司的每月乘客人數為例，使用 LSTM 模型預測下個月的乘客數，其中牽涉到『時間序列分析』(Time Series Analysis)一些...
前言 之前，我們都在影像、語言等基礎應用上打轉，這次我們要來探討一個可應用在企業運作上的實例，銷售預測主要是希望藉由過去的銷售記錄預測下一個週期的銷售量，在統計...
前言 現在人身處網路時代，每天都會收到一堆LINE、Email、Facebook、Instantgram、...等等五花八門的訊息或網頁，花整天看都消化不完，只...
iThome鐵人賽
看影片追技術
看更多
彼得叩叩
Penut Chen
sarahwei0804
milanochuang
Friedrich1942
杜岳華
I code so I am