前言

在運行 Deep Learning Model 做 Training 或者 Testing 時，對於我們研究領域的人來說，很大一部分還是要放在 GPU 上部屬，但無論是 Paper 或者一些 Work 的網站上，常常他們會說我們用了啥啥啥來訓練，又或者我們在甚麼甚麼上跑的可以到多快，但這些東西對於剛剛熟習如何寫出 Model 的我們來說跟看天書無異，看到這些描述你或許心中會出現三條線，想說我都好不容易寫出了 Model 但跑起來不快，結果你跟我說是因為硬體問題QQQQQ你怕是差點不會被氣死XDDD這不，我不就來了嗎XDDDD雖說我們其實不需要對底層的硬體有太多的認知其實就可以做做研究了，但希望透過今天的簡介，你可以對 GPU 有更多的認知，就當作是冷知識也不錯XDDDD

GPU 簡介

GPU 背景概述以及"信仰"

GPU 如何幫助 Deep Learning 進行運算

CUDA & cuDNN

CUDA core V.S Tensor core

vRAM 的大小對 Deep Learning 的影響

GPU 的觀測

基本指令

數據說明

小小實驗

GPU 的選擇

我們到底需要 GPU 來幫助我們那些 Part

GPU 效能比較

CP 值

一些選擇的配置單

雲端計算資源