類神經網路ANN的學習原理

1. 損失函數Loss Funcion:

• 指的是估計值與實際值的差值(殘差residual)。
• 估算模型的預測值與真實值的不一致程度。
• 越小越好(模型堅固性)
• 例子:消費著信用好壞判斷錯誤後，提高消費者信用卡與房貸預期繳交次數的權重，降低其他(年紀、性別、學歷)權證，來修正其判斷函數，以提高判斷的準確度。
• Cost Function 是 Loss Function平均。

2. 反向傳播機制Backward Propagation，簡稱BP⭐

• 是一種與最優化方法(ex.梯度下降法)結合使用的方法。
• 利用輸出層發現的誤差，由後往前Backward，一步步地調整參數的權重，一直改道輸出正確為止。
• 該方法對網路中所有的權重計算損失函數的梯度。

3. 梯度下降Gradient Descent，簡稱GD

• 不一定能找到全域最佳解，有可能是一局部的最佳解。
• 找到接近目標的一種修正方法，期會透過一步一步慢慢靠近目標，最終找到一個近似目標的函數。
• 例子(下山):山頂為目標估計值，山底為目標值，GD在山頂會尋找360度內最陡的梯度，來當作做快速的下山。
  示意圖:
  
  資料來源:https://www.wpgdadatong.com/blog/detail/40537

4. 遺忘層(Dropout)

• ANN為了防止單一模式容易產生過度擬合的問題，因此在每次訓練時會隨機刪除某特定比例的網路節點。
• 例子:動物辨識，一套辨識系統為了提高辨識準確度，隨機抽取辨識老虎的決策樹進行預測，隨著樹的增加，錯誤率會越來越低。

深度學習概念、架構

深度學習Deep Learning，簡稱DL:多層次的類神經網路。

• 特色:
  ➊網路架構方面:
  1.深度多層次的ANN:
  • 深度學習是ANN的一種，但相對傳統淺層的ANN，DL常常遞疊很多的層次。
  • 量要夠多夠大。
  • 更能處理規則複雜、非結構資料與問題。
  • AlexNet(2012)8層、VGG16(2014)16層、GoogleNET(2014)層、RestNet(2015)152層、PolyNet(2016)537層
    2.巨大且複雜的網路架構
  • 此方面特性:①非常大量的input ②非常大量的節點(函數):DL中每個節點都是一個函數，透過反向BP調整每一個函數的權重，來提升模型的準確率。

參考來源:人工智慧:概念應用與管理 林東清