在上一章我們知道如何在一台機器上使用多張 GPU 來Training，這對我們 Train 大 Model 或者快速的 Train 一個 Model 已經會有明顯的幫助了!!但貪心的我們是不是還是有點想要更好XDDDDD但其實也不全然是貪心啦，像是如果 Alpha GO 當初只用一台插著 4張 GPU 的機器去做 Training ，那麼他當初應該還 Train 不好就要去比賽了XDD 或許我們聽說過 : ㄟ~不是有一種伺服型的機器是可以插超過4張 GPU 嗎?但這其實在某些 Case 仍然遠遠不夠QQ 像上面的 Alpha GO 怕是要 2000 片吧QQ 那麼今天就要來介紹一種可以更大擴大 GPU 數量的平行化方法 : 分散式訓練。
p.s 這邊的分散式訓練特別指括機器的分散式訓練
iThome鐵人賽
看影片追技術