來簡單介紹兩者的區別，篇幅不會太長

Parameters 參數

訓練期間，會隨著運算過程隨之調整，以我們文章的 NN 來說就是 W, b
由於每個 Neuron 都各有 W, b 我們會將一層的 W, b 蒐集起來變成矩陣和向量，透過 Python 就可以達到快速的向量運算(雖然現在不只 Python 能做到就是了)

那一開始 Forward propagation 的 W, b 可以隨機分配，做出結果後會再透過 Backward propagation 去調整
所以整個過程的參數都會變動

Hyperparameter 超參數

訓練之前，就會設定好的參數，訓練過程結束以前都不會更動，如：

• learning rate (α)
  • 學習率，會決定每次迭代後要更新多少權重，若設定的太小，可能導致模型收斂的速度下降，反之太大可能造成訓練過程不穩定或是沒辦法順利收斂
  • α < 1
• Batch size
  • 批次大小，Batch 就是在一個時間點跑多少資料，有時候要配合你的 CPU/GPU 來調整其大小
• epoch
  • 迭代次數，跑完一整個資料集即為一次 epoch
  • 念作E帕克或是A帕克
• #hidden layers (L)
  • 隱藏層數
• choice of activation function
  • 激活函數的選擇

小心得

第一部分快結束了，還有第二部分完才進實作