iT邦幫忙

第 11 屆 iT 邦幫忙鐵人賽

DAY 27
0
Google Developers Machine Learning

ML Study Jam -機器學習系列 第 27

Day 27 The science of neural networks part 1 (關於神經網路的那些事)

Art and Science of Machine Learning

The science of neural networks part 1

Neural Networks

我們前面很多的舉例以及實驗都以輸入與輸出作為節點作為運算,所以基本上算是線性模型
雖然針對簡單的問題用這個架構就已經可以解決了,但如果今天輸入有100個輸出也有100個那要算到甚麼時候呢???

https://ithelp.ithome.com.tw/upload/images/20190926/20120289Y641tPEXiS.png

所以我們希望加入神經元幫我們做運算,除了將建構出非線性模型同時將模型複雜化
雖然看似會消耗很多資源,但同時會提升處理效率,就把它想成多了好幾個小幫手幫忙你寫功課的概念
直接用圖來做舉例,先看到左邊這張圖X為輸入Y為輸出,通過隱藏層後插入了一層激活函數作為非線性的架構
公式如下所示,我們可以看到最右邊的矩陣會經過我們定義的function再輸出到下一層,而這邊的function依照我們所設定的激活函數傳遞到下一層的輸出會有所不同

https://ithelp.ithome.com.tw/upload/images/20190926/201202894KWtp8GVv9.pnghttps://ithelp.ithome.com.tw/upload/images/20190926/20120289a6mI0mGC74.png

下圖為常見的激活函數,大家可以依照自己的需求選用相關的參數,藉此達到非線性的效果,現在最常使用的就是ReLU function,公式如右圖所示對於CNN架構提取特徵非常的好,因為它只會放大需要被選擇的特徵,濾除不必要的特徵,現在廣泛應用於各種模型當中

https://ithelp.ithome.com.tw/upload/images/20190926/20120289ieBXwTtuO7.pnghttps://ithelp.ithome.com.tw/upload/images/20190926/20120289eCmDDLK8Mh.png


Training neural networks

當然在訓練的過程中會遇到很多的問題,這邊舉出關於梯度下降三樣常見的錯誤

問題 梯度消失 梯度爆炸 ReLu layers死亡
影響 慢慢的傳遞訊號會消失 學習速率要仔細調整 會產生很多包含0的權重
解決方法 使用ReLu取代sigmoid/tanh function 加入Batch normalization 降低學習速率

而在訓練的過程中使用較小的數值能達到滿多的好處,這邊列舉幾點來做說明

  • 能夠讓激活函數有比較好的效果,因為數值能夠從原點縮放至區間[-1~+1],有助於激活函數觸發
  • 較小的數值能幫助梯度下降,避免變成NaN
  • 對於一些沒見過的特徵能夠有比較高的適應性

那要怎麼將數值進行縮放呢?這邊提供一些方式來進行縮放大家有興趣可以參考看看

  1. 線性縮放 : 也就是將數據等比例縮放
  2. 特定範圍截取 : 只取數據集中特定位置的數據
  3. Log縮放 : 依照Log的比例縮放,根據底數的設定會產生不同指數縮放的效果

https://ithelp.ithome.com.tw/upload/images/20190926/20120289jtaJpMVWvv.png


Dropout and softmax

Dropout最簡單的觀念有點像選擇性遺忘,會依照你選擇的比例丟棄數值
假設我選擇Dropout = 0.2,在學習過程中會將已經學會的20%丟棄,在繼續學習避免過擬合的狀況發生
softmax則是在種類太多時,先進行機率的分配,根據最大的可能性來輸出結果
公式如下方所示,每個神經元依照目標神經元輸出/總數來判斷輸出類別的最大機率

https://ithelp.ithome.com.tw/upload/images/20190926/20120289uGRMBDMdgH.png

※圖片參考至 Art and Science of Machine Learning slide


上一篇
Day 26 A pinch of science (一些補充的小知識)
下一篇
Day 28 The science of neural networks part 2 (神經網路小實驗)
系列文
ML Study Jam -機器學習30

尚未有邦友留言

立即登入留言