前言

我們已經學會如何在我們的電腦上執行並測試我們辛辛苦苦寫出來的 Model 了，但這樣的故事結尾是簡單美好，如果今天我們多考慮了一項事情 : 時間 呢?在 Model 的訓練世界中，你辛辛苦苦寫出來的 Model 或許他得經過一個十分巨大的dataset來訓練;又或者他只是你眾多設定中的一個，你需要快速跑出結果然後盡早決定下一步等等情況。那麼你此時又該怎麼辦呢? 把 Model 簡化吧?但一不小心連 Performance 都跟著往下掉QQ。 哪把 Dataset 砍一半吧? 結果資料減小也跟著影響訓練效果QQ。 要不然超頻吧? 但你超頻的倍率能多個10% or 20%就阿密陀佛了QQ
那麼我們還可以怎麼辦QQQ
诶!你怎不叫朋友一起來幫忙呢XDDD在電腦GPU的世界上，只要一台 PC 上是可以插超過一張顯卡的就可以使用多GPU計算 (Muti-GPU)，不像是你可能沒朋友那就沒選擇了QQQQ當然不一定一定要插在同一台電腦上，基本上只要你能夠連到這些多張的 GPU ，你就可以導入 Muti-GPU 的計算邏輯了~~~

Muti-GPU

基本邏輯

Data Parallel v.s Model Parallel

Pytorch 實作

Single-GPU v.s Muti-GPU

結尾