• 今天我們來還債 XDD，還之前跳過的很多解釋，還有如何更加靈活的調整神經網路
• 那就讓我們一步一步來吧~

偷偷小聲地說，今天這篇就讓筆者水一篇吧 QQ，再去解釋數學好累 QQ

Activation functions

• 我們前面看過好多次這個名詞了，到底什麼是 Activation function ?
• Activation function 中文叫做激勵函數，最主要的目的是應用於非線性變換，因為如果沒有 Activation function，我們的計算 input 跟 output 都會是 linear 的，這樣就會失去深度學習的意義
• 那 Activation functions 有非常非常多種，而我們比較常見的有
  • Step function
  • Sigmoid
  • TanH
  • ReLU
  • Leaky ReLU
  • Softmax
  • ...
• 那我們這邊就不特別解釋這個部分，簡單來說每種 Activation Function 都有優勢和劣勢，這個部分值得大家自己研究何嘗試
• 那我們在前面的 Feed-Forward NN 用的 Activation function 是 ReLU，讀者可以嘗試看看換成 Sigmoid 或是換成別的去看看準確率阿等等不同的變化~

Hidden Layers

• Hidden Layer 是神經網絡中除了 input & output layer 的中間神經元們，那我們可以發現如何定義這些 Hidden Layer 其實沒有一個特別的規定，怎麼決定一層 Hidden Layer 要有幾個神經元，要有幾層，每一層之間的變化要怎麼變化?這些就是深度學習發展過程中研究的課題
• 大家也可以試著去調整看看我們 feed-forward NN 上的 Hidden Layer 狀況~
• 那這邊要注意，最後一層的 Hidden Layers 要考慮到輸出，第一層的 Hidden Layers 要考慮輸入

每日小結

• 其實還有更多可以注意和調整的東西，例如 batch_size 或是更細節的神經元拋棄之類的更深入的技巧，但是這些東西就需要大家自己更加深入理解這個領域之後再去做操作了，我們這邊就不特別介紹了
• 神經網絡是非常的靈活的東西，可以自行調整的東西也非常多，如何找到 "最佳" ，是一個非常困難的議題，也正是深度學習領域中大家努力的目標，因此大家可以多多嘗試
• 那假設，我們今天已經成功訓練了一個非常強大的模型了，花了一周的時間在訓練，總不會使用時又要跑一個月吧 QQ，不用，明天就讓我們來聊聊怎麼保存你的可愛模型~