今天要來介紹 mini-batch, Stochestic Gradient Descent 有何差別
若是今天訓練集的資料量較大(e.g. m=5,000,000)，直接進行訓練將會耗費大量時間，Gradient Descent 跑過整個資料集才能踏出一步
為了加速，我們需要利用 mini-batch 這個方法

稍微提及一下：

• 1 epoch = 掃過一整個原始訓練集
• 1 batch = 一次運算的資料量

若看到訓練過程迭代了 200 次，也就是跑了 200 個 batch，而 batch size = 16
總共跑了 16 * 200 = 3200 筆資料
你的 Training data size = 100
Epoch 數即為 3200 / 100 = 32 個

而 mini-batch 就是在指調整 batch size 的過程
適當的調整 batch size 可以讓 GD 的下降速度變得更快

• mini-batch：1 < batch size <= data size

有時會看到 Stochestic Gradient Descent 這個詞
上方的不等式會看到 1 < batch size，原因是當你 batch size = 1 時，我們稱為**Stochestic Gradient Descent **

用一張圖來描述：

簡單來說就是：

• Stochastic
  • 
  • Vectorization speed ↘️
  • 上圖紫色的線非常雜亂，因為 batch size = 1 每跑一筆訓練資料就下降一次，所以容易被每一筆資料所干擾，但整體來說還是會朝最佳解去走
• In-between
  • 
  • 就是 Mini-batch
  • Vectorization
  • Make progress w/o needing weight entire training set
  • 上圖綠色的線比較剛好，若是挑到適合的 batch size 則能加速下降
• Batch
  • 
  • 就是平常的 Gradient Descent
  • Iteration Time ↗️
  • 上圖藍色的線下降的很好，但要記得他每次都跑了全部的 data，因此耗時非常久

寫成 code 搞不好清楚一點

if x == m:
		Batch_GD()
elif x == 1:
		Stochastic_GD()
else :
		Mini_Batch_GD()

Ref.

• https://ithelp.ithome.com.tw/articles/10269890
• https://stackoverflow.com/questions/63139072/batch-size-for-stochastic-gradient-descent-is-length-of-training-data-and-not-1
• https://medium.com/%E5%AD%B8%E4%BB%A5%E5%BB%A3%E6%89%8D/%E5%84%AA%E5%8C%96%E6%BC%94%E7%AE%97-5a4213d08943