一般伺服器可以加裝顯卡變AI伺服器嗎?

伺服器 ai

gingal 2024-08-18 08:13:45 ‧ 3247 瀏覽

分享至

一般伺服器可以加裝顯示卡嗎?
加裝後AI的算力是否就可以提升，成為AI伺服器?

看更多先前的討論...收起先前的討論...

補覺鳴詩 iT邦高手 1 級 ‧ 2024-08-18 14:36:25 檢舉

是沒錯
但一般的機殼可能不是為顯卡設計
比如說寬度是否足夠,散熱是否足夠,電源是否足夠這些都必須考量

johnstudy iT邦新手 5 級 ‧ 2024-08-19 08:24:15 檢舉

要看廠牌，有的廠商你那個型號如果沒有option，給錢他們也不會幫你裝
他們會給你AI伺服器的型號供你購買，如果過保又能找到合適的
就只能自己裝

gingal iT邦新手 5 級 ‧ 2024-08-19 14:31:23 檢舉

我是想買一些比較符合AI運算的GPU顯卡裝在伺服器上，不曉時有人這樣做過嗎?

aferd iT邦新手 5 級 ‧ 2024-08-19 17:01:22 檢舉

在還沒有gpt之前的server已經可以裝到8卡了...
這不是現在才有出現的產品，只是現在都用算力更好的介面(sxm4, 5)或是更佳的散熱解決方案(浸沒冷卻)...

窮嘶發發發 iT邦高手 1 級 ‧ 2024-08-28 16:33:24 檢舉

一般伺服器 + 顯卡只能當 AI PC 而已 ...
難道你願意買每張要 140~150萬的 H100 安裝上去 ?
如果是這樣那就另說了

登入發表討論

直播研討會

{{ item.channelVendor }} {{ item.webinarstarted }} |

直播中

3 個回答

zza6312

iT邦新手 2 級 ‧ 2024-08-19 11:25:28

最佳解答

顯卡跟 GPU 不一樣吧,
再來是AI,
AI領域很大,有 Edge Computing,Inference,Training,Maching Learning,Deep Learning....
每個領域用的 GPU 都不一樣
你應該是先確定你要作的是 AI 的哪一個部份

回應 3
分享
檢舉

gingal iT邦新手 5 級 ‧ 2024-08-19 14:29:57 檢舉

主要是想要組一台伺服器來運作大型語言模型，像是meta的還有中研院的，感謝您的回答。

aferd iT邦新手 5 級 ‧ 2024-08-19 16:58:44 檢舉

只要你的Server pcie slot插的進去gpu單卡都可以，也可以運作, 要注意散熱
不過你提到的meta, 人家應該不是用單台來算，是好幾百台...

zza6312 iT邦新手 2 級 ‧ 2024-08-26 09:17:34 檢舉

如果是 LLM ,你只是用來練習,或你是小型專案用的,
基本上 RTX3090 應該夠用了

登入發表回應

ali88code

iT邦新手 5 級 ‧ 2024-08-19 15:04:21

這幾篇文章或許有你想要的解答

回應
分享
檢舉

登入發表回應

negativetitan

iT邦新手 5 級 ‧ 2024-09-09 15:41:56

有滿多廠商都有提供一般伺服器加裝GPU卡，來做輕量AI伺服器的規格哦

建議你先上伺服器廠商該機種的官網介紹，或是直接洽詢該公司業務才知道加裝上去的GPU卡是不是符合你的需求，另外因為一般伺服器要加裝GPU卡也會有空間受限的問題，因此能加裝的GPU卡數量以及型號也是一個要考慮的點

回應
分享
檢舉

登入發表回應

我要發表回答

立即登入回答

參賽組數

1064 組

團體組數

40 組

累計文章數

22195 篇

完賽人數

600 人

15th鐵人賽 16th鐵人賽 13th鐵人賽 14th鐵人賽 12th鐵人賽 11th鐵人賽鐵人賽 2019鐵人賽 javascript 2018鐵人賽 python 2017鐵人賽 windows php c# windows server linux css react vue.js

IT邦幫忙