類神經網路

人類腦神經系統

• 神經元(Neuron)
• 樹突(Dendrite)
• 軸突(Axon)
• 突觸(Synapse)

類神經網路概念與架構

1. ANN基本概念
   ①節點(Node)☞神經元
   ②連結(Connection)☞突觸
   ③輸入(Input)☞樹突
   ④權重(Weight)☞軸突
   ⑤隱藏層(Hidden Layer)
   ⑥輸出層(Output Layer)

2. ANN運算架構
   ①Input：包括兩個Input，X1(教育程度)、X2(信用卡款逾期繳交次數)。
   ②權重(Weight)：代表兩個Input變數對判斷結果的重要程度。
   ③轉換函數：特徵值加權整合。
   ④啟動函數(Activation Function)

   • Simoid Function：數值介於(0,1)之間，一般用在兩分類問題，可算出事件發生概率的高低。
   • Softmax Function：數值介於(0,1)之間，是一種更加一般化的邏輯函數，適用於多分類的問題，主要用在輸出層，計算出不同多項事件發生的概率。
   • RELU Function：數值介於(0,inf)之間，主要運用在隱藏層的轉換，這是目前所有深度學習運用最多最普遍的啟動函數。

3. 類神經網路(ANN)學習原理
   ①損失函數：估計值與真實值的差值愈小愈好。
   ②反向傳播機制：與一般正向傳播「由前往後」不同，反向傳播是利用在輸出層發現的誤差，「由後往前」調整參數的權重，更新後再進行下一次訓練。
   ③梯度下降(Gradient Descent, GD)：一定為局部最佳解，但不一定是全域最佳解，若損失函數為凸函數，此方法獲得之解祕為全域最佳解。
   ④遺忘層(Dropout)：防止單一模式容易產生過度擬合的問題，故在每次訓練時會隨機刪除某特定比例的網路節點。

深度學習

深度學習概念與架構

1. 深度學習主要特色
   ①網路架構方面

   • 深度多層次的ANN：深度學習是ANN的一種，但相對於傳統淺層ANN，深度學習常遞疊很多層次，因資料過少，故不精確、不穩定。

   • 巨大且複雜的網路結構：
     ⓵非常大量的Input。
     ⓶非常大量的節點(函數)：愈多函數愈有彈性，愈容易調整來擬合(fit)資料。
     ②資料處理方面
     ③特徵工程(Feature Engineering)方面

   • 特徵值的選擇

   • 特徵值往上迭代的延伸與組合：由底層片段的簡單基礎特徵，不斷往上整合成抽象層次更高、整合程度更高、更有區別立、更接近現實世界的所謂延伸變數(Derived Variable)或稱為隱藏特徵(Latent Feature)且下一層的Output就變成上一層的Input不斷地迭代往上，來達到「用複雜的模型來解釋真實的複雜世界」。
     ④訓練優化方面

   • 深度學習需要巨量的訓練資料：深度學習訓練模式非常複雜且龐大，內部常牽涉到數千萬個、上億個節點與參數、資料太少會產生過度擬合、不精確、不穩定的問題，上千萬個參數需要花很大的成本來蒐集、清洗、過濾及對資料的加工等動作。這也是「殺雞焉用牛刀」，許多簡單明確的問題，傳統ML是更好的選擇。

   • 深度學習能夠不斷透過回饋進行自身優化：傳統上的機器學習不準確時，人類專家必須要做以下的調整包括：調整權重、調整變數(增加或減少)、調整模型架構、更換成其他的演算法，如此不斷的來回試誤，尋找最佳的模型、變數與參數，但深度學習可以透過上述的向後傳播機制(BP)與梯度下降法(GD)不斷的往後調整，找到最好的下山路徑，自動修正模型以提升模型的準確度。

深度學習主要優點

1. 深度學習可以處理非結構資料
2. 準確度高
3. 可移轉性
4. 學習能力強

深度學習主要缺點

1. 不可解釋性：深度學習的模式極為複雜，內部常牽涉到幾十層、幾億個參數權重，固為典型的黑盒子(只知其然而不知其所以然)，只知其分類判斷的結果，但不知道其影響的變數為何種因素所組成、這些複雜的特徵組合代表什麼意思。
2. 訓練成本太高：深度學習資料的蒐集以及模式訓練成本極高，例如：GPT-3需要1,200萬美元的經費、45TB的訓練資料，且許多樣本如醫療方面的MRI、電腦斷層資料無法大量取得。
3. 硬體與計算能力需求極大：硬體建置成本極高，包含大量呃CPU、GPU、TPU等。

深度學習主要神經網路類型

深度學習的主要模式：

• 全連接(Full Connected)前饋網路(FNN)
  • 適用於分類、預測等任務
• 卷積神經網路(CNN)
  • 適用圖像辨識任務
• 循環神經網路(RNN)
  • 適用語音、自然語文處理等序列性任務
• 自動編碼器(Autoencoder)
  • 適用於降為的任務
• 生成對抗神經網路(GAN)
  • 適用於生成高品質的仿真資料

參考資料
人工智慧-概念應用與管理　林東清著