深度學習系統架構:分散式VS單台超級機器

分散式系統

r76021061 2017-11-30 11:13:11 ‧ 7639 瀏覽

分享至

依據不同情境有不同答案

窮嘶發發發 iT邦高手 1 級 ‧ 2017-11-30 11:16:13 檢舉

看你要幹嘛用，還有你的app能不能用上那麼強的的硬體資源而不會出錯
我們這麼說好了，你的app只能用 cpu 4~8c 運算，超過就會出錯，你cpu上到一千顆有用嘛
同樣的你的 app 只能用 cpu 運算，你 gpu 上到一千顆有用嘛
從來都是需求決定架構，你的app要有能力在這麼強大的硬體下執行而不出錯
你才需要這樣的硬體架構，至於 gpu 用量越來越高，是因為純運算來說，gpu的效能不會比 cpu差
而且以卡的面積來說跟CPU的晶片面積相比，那是大了十倍以上，假若 CPU 可以上到 64C，那大十倍的GPU卡，他的C就能上到640C左右
那單C相同算力之下，GPU就會比 CPU 強十倍，雖然是用面積替換出來，至少在殼內可用空間，可以因此得到最佳運用