Part1:今日目標

1.認識卷積神經網路的進階技巧

Part2:內容

1.認識卷積神經網路的進階技巧

(1)增加模型容量: 寬度

• 模型容量越大，就越能處理輸入資料的變異性；但也容易使模型學習到不重要的資訊造成過度適配(overfitting)問題，且容量越大在訓練過程也將消耗更多運算資源。
• 增加模型容量可透過以下: 增加每一層神經元數量或每個卷積通道數，就能抓取更多輸入資料的特徵。

(2)協助模型收斂(converge)與泛化(generalization): 正規化(regularization)

• 優化(optimization): 訓練模型時使用訓練資料讓模型損失下降的過程，到達損失最小值的過程可視為收斂過程。
• 泛化(generalization): 將訓練好的模型推廣到新資料表現的能力，若只在訓練資料表現好，但在新資料表現差，那即為過度適配(overfitting)，可視為死背資料特徵，而非模型真正學到所有資料的共同特徵。

正規化提供幾種方法能協助完成上述訓練模型的步驟:

• (2-1)約束模型參數: 權重懲罰機制(weight penalities)
  在損失函數中加入懲罰項，這將會懲罰較大的權重值，使損失值變化較為平滑，以降低適配個別樣本對參數的影響。常見方法有L2正規化和L1正規化。
• (2-2)避免過度依賴單一資料: 丟棄法(dropout)
  在每回合訓練時，都隨機將一部份神經元捨棄(設定神經元輸出為零)，透過每回合模型神經元結構些許差異，能避免造成過度適配時的記憶效應，或又可將這些丟棄視為「┤干擾」，類似資料擴增效果。
• (2-3)約束激活函數: 批次正規化(batch normalization)
  • 原理: 重新調整輸入資料的數值分布，以避免小批次輸入資料落入激活函數的飽和區域(該區域將使梯度變化不明顯，而減慢訓練進度)。
  • 方法: 將會根據小批次樣本的平均值與標準差來平移模型中間層的輸入，將能產生正規化效果，該方法可視為有原則的擴增法。
  • 為避免不同批次的影響，建議使用所有批次資料的平均值和標準差來進行正規化。

(3)更複雜的模型結構: 深度

• 神經網路的深度越深，能擬合的函數複雜度也越高，等同於讓神經網路對輸入資料進行更多層的解析。但深層模型是否能較淺層模型表現較好，則需視情況而定。
• 跳躍連接(skip connections): 模型越深收斂難度通常會提高，因為損失函數對模型參數倒數需透過多次連鎖律取得，過長的乘積鍊可能導致某些層的梯度消失(vanish)，將造成模型參數無法被更新，而使模型訓練無效。跳躍連接能跨層間建立多的迴路，讓非相鄰的神經元有連接，更直接傳遞部分梯度損失到較遠的神經層，將有效協助模型收斂。
• 殘差網路(residual networks, ResNets)就是將跳躍連接應用到神經網路的模型架構，透過跳躍連接，將能建立更深層的模型，突破原先模型最高層數的限制，模型架構範例如下:
  
  圖片來源

Part3:專案進度

• 完成卷積神經網路CNN基本理論學習。

Part4:下一步

• 透過學習輕巧初階的Lenet模型架構，了解CNN各神經層、損失函數、反向傳播等機制，如何組裝成一個完整的模型，且在Pytorch有哪些對應的模組(modules)或類別(class)可以操作。

心得小語:
有時候在獨自努力練功的階段會感到寂寞或懷疑自己，但這都是人在探索未知都會有的自然過程和情緒囉~~ 了解且不抗拒自我懷疑，而依然規律地前進學習，是我觀察成功達到目標這群人所共同有的特質，也是自己在這一年目標要有的能力，所以別多想囉~ 就是保持學習、消化理解和應用的過程囉，繼續培養自己的能力並且相信自己啦!!
今日工時: 50mins*2

唯堅韌者始能遂其志
He that can have patience, can have what he will. -Benjamin Franklin