iT邦幫忙

2

一般伺服器可以加裝顯卡變AI伺服器嗎?

  • 分享至 

  • xImage

一般伺服器可以加裝顯示卡嗎?
加裝後AI的算力是否就可以提升,成為AI伺服器?

看更多先前的討論...收起先前的討論...
是 沒錯
但一般的機殼可能不是為顯卡設計
比如說寬度是否足夠,散熱是否足夠,電源是否足夠 這些都必須考量
johnstudy iT邦新手 4 級 ‧ 2024-08-19 08:24:15 檢舉
要看廠牌,有的廠商你那個型號如果沒有option,給錢他們也不會幫你裝
他們會給你AI伺服器的型號供你購買,如果過保又能找到合適的
就只能自己裝
gingal iT邦新手 5 級 ‧ 2024-08-19 14:31:23 檢舉
我是想買一些比較符合AI運算的GPU顯卡裝在伺服器上,不曉時有人這樣做過嗎?
aferd iT邦新手 5 級 ‧ 2024-08-19 17:01:22 檢舉
在還沒有gpt之前的server已經可以裝到8卡了...
這不是現在才有出現的產品,只是現在都用算力更好的介面(sxm4, 5)或是更佳的散熱解決方案(浸沒冷卻)...
一般伺服器 + 顯卡只能當 AI PC 而已 ...
難道你願意買 每張要 140~150萬的 H100 安裝上去 ?
如果是這樣那就另說了
圖片
  熱門推薦
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中
4
zza6312
iT邦新手 2 級 ‧ 2024-08-19 11:25:28
最佳解答

顯卡跟 GPU 不一樣吧,
再來是AI,
AI領域很大,有 Edge Computing,Inference,Training,Maching Learning,Deep Learning....
每個領域用的 GPU 都不一樣
你應該是先確定你要作的是 AI 的哪一個部份

gingal iT邦新手 5 級 ‧ 2024-08-19 14:29:57 檢舉

主要是想要組一台伺服器來運作大型語言模型,像是meta的還有中研院的,感謝您的回答。

aferd iT邦新手 5 級 ‧ 2024-08-19 16:58:44 檢舉

只要你的Server pcie slot插的進去gpu單卡都可以,也可以運作, 要注意散熱
不過你提到的meta, 人家應該不是用單台來算,是好幾百台...

zza6312 iT邦新手 2 級 ‧ 2024-08-26 09:17:34 檢舉

如果是 LLM ,你只是用來練習,或你是小型專案用的,
基本上 RTX3090 應該夠用了

1
negativetitan
iT邦新手 5 級 ‧ 2024-09-09 15:41:56

有滿多廠商都有提供一般伺服器加裝GPU卡,來做輕量AI伺服器的規格哦

建議你先上伺服器廠商該機種的官網介紹,或是直接洽詢該公司業務才知道加裝上去的GPU卡是不是符合你的需求,另外因為一般伺服器要加裝GPU卡也會有空間受限的問題,因此能加裝的GPU卡數量以及型號也是一個要考慮的點

0
ccyyegg
iT邦新手 5 級 ‧ 2025-04-14 10:09:45

關於AI伺服器和一般伺服器的差別
AI servers are optimized for AI training and inference tasks, featuring powerful CPUs, GPUs or specialized AI accelerators designed to accelerate AI workloads. Unlike regular servers, AI servers have the processing capabilities to handle the complex mathematical calculations required for training and running AI models, making them far more efficient for AI-specific tasks.

我要發表回答

立即登入回答