硬體選擇 -- Part 1

簡介

在談到有一個可以學習或者執行 Deep Learning 的環境之前首先就要有一台可以滿足計算資源等需求的電腦。所以我們首先要來談談如何有台電腦。硬體的解決方案大致分為以下幾類:
- 自行組裝
- 去買現成組好的 PC 或者 筆記型電腦
- 使用系上的計算資源
- 使用雲端計算等外部計算資源
以上這四類是比較常見的硬體資源選擇，第一點跟第二點主要是我們這章想談的點，會提及在硬體上我們需要去注意甚麼或者挑選甚麼，無論是自行組裝或者去買現成的只要知道需要注意的重點即可。第三點需要看系上是否有提供相關的計算資源，舉例來說，交大資工在開設深度學習與實務這門課的時候，會提供修課生每人一台電腦，內含一張 6GB vRam 的 GTX 1060 等等來作為跑 Model 等的計算資源，雖說不是非常強大的顯卡，但在完成 Lab 以及 Final Project 上基本已經非常足夠。第四點的話暫不討論，如果有空餘時間我們會在最後的單元去提到國網中心這個單位所提供的 TWCC 以及各大雲端計算提供商的使用心得以及大致比較。

硬體挑選

硬體挑選分為幾個部分去做挑選，我們以 自行採買零件自行組裝 為出發點來提幾個點，去買現成的 可以依照這幾個點去選擇已經組好的規格。

GPU

說到 Deep learning，最重要的就是 GPU 了!別的不說，若是你的 GPU 很弱或者根本沒有，那基本上 Deep Learning 的學習道路上你不是在等待的路上，就是等到睡著的路上。在眾多 Deep Learning Library 中，基本上每一個都有針對 GPU 有去做加速，像是 Tensorflow 或者 Pytorch。而在這些使用 GPU 加速的背後，基本上就是使用到了 Nivida 推出的 CUDA 架構。那關於 CUDA 介紹，這邊暫且不細提，附上一個寫得非常好的連結有興趣的做參考。那既然要選擇 Nvidia 推出的顯卡作為我們 GPU 的選擇，是不是每一張都可以呢?收起你想拿出祖傳 GT 8800 的衝動，這邊是有個底線必須超過的，那就是這張 GPU 的 Compute Capability必須超過一定的門檻，通常會是各個 Library 官網會去寫說要超過多少的，像是 Tensorflow 就需要超過 3.5。那這個 Compute Capability 又是個啥呢? 基本上 GPU的Compute Capability 會由其微架構與顯卡核心去決定，但並不是數字小的在跑 DL 就會輸數字大的，但本章並不會詳述這個部分，未來有機會的話來講講這個架構的 Issue。大家只要去上 Nivida 的 Computing Capability 表就可以查到手上的 GPU 是多少囉~ 像是Geforce RTX 2080 是 7.5，屬於跑 code 玩遊戲皆適宜的卡 >< 然而，在選 GPU 的議題上還需要特別去注意 vRam 的大小，也就是顯卡記憶體的大小，一般來說越大越好，這個主要會跟訓練時可以開的 batch size 等等有關。像是某個 model 你在 11GB vRAM 的 1080 ti 上可能只能開個 batch size = 16 ，但在 32 GB 的 V100 上就可能可以開到 32 之類的來增快訓練速度，當然 Batch size 以後會去提到。總體來說各世代的 Ti 卡就是一個很不錯的選擇，像是 1080 Ti 以及 2080 Ti，價格上屬於負擔得起的那種，記憶體空間也是屬於有 11 GB 這樣不錯的大小。如果錢錢不是特別夠，那 1060 以及 2060 也免強能用。但如果是土豪的話，可以直接考慮 tesla 線的 v100 ><

OK 今天先打到這，明天會把剩下的零件以及組裝等議題講完