iT邦幫忙

1

請問 DeepSeek R1 有實際生產環境用過的大神嗎? (不要廣告)

ai
  • 分享至 

  • xImage
  • 請問需要多少等級的 GPU、CPU、RAM、DISK?
  • 本地部署實際經驗 (不要廣告)
froce iT邦大師 1 級 ‧ 2025-02-07 14:46:40 檢舉
個人使用就 OLLMA + AnythigLLM 裝完就好。
YT一堆人教學。
圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

2 個回答

6
Ray
iT邦大神 1 級 ‧ 2025-02-07 14:24:30
最佳解答

https://felo.ai/search/P86ZgBpyA9nK37giXJDcwT?invite=WPqroLX8pYedw

基本硬體需求

##CPU:

最低要求:4 核心處理器(如 Intel 或 AMD 多核處理器)。
建議使用:8 核或以上的處理器,以獲得更好的性能。

##內存 (RAM):

最低要求:8GB(僅用於推理)。
建議配置:32GB 或以上,對於更大型的模型(如 70B 參數模型),建議使用 128GB 以上的內存。

##顯示卡 (GPU):

最低要求:支持 Ollama 的 NVIDIA GPU,如 GTX 750 Ti 或更高版本。
建議使用:NVIDIA RTX 3060 或更高版本,對於更大型的模型,建議使用 RTX 3090 或 RTX 4090。

##存儲空間:

最低要求:至少 50GB 的 SSD 存儲空間,用於 Docker 映像和模型權重。
對於大型模型,建議使用 200GB 或以上的 SSD 存儲空間。

##進階硬體需求

記憶體帶寬:對於 DeepSeek-R1 的完整模型,建議使用具有高記憶體帶寬的伺服器主板和多通道內存配置,例如 768GB DDR5 RAM,這樣可以充分發揮模型的性能。

電源供應:確保電源供應單元(PSU)能夠支持多個 CPU 和 GPU 的運行,建議使用 1000W 或更高的電源供應器。

小MIS iT邦研究生 1 級 ‧ 2025-02-12 14:09:49 檢舉

謝謝您!

1
sharbui
iT邦新手 3 級 ‧ 2025-02-12 12:35:31

deepseek R1 7/16B 4090 *1
deepseek R1 70B 4090 *2
deepseek V3 H100 16
deepseek V3 經過蒸餾 H100
6

主要需求在這, 其他的能多CPU RAM 能插滿就插滿,
V3 要404GB 的空間, 自己再配幾T的nvme

小MIS iT邦研究生 1 級 ‧ 2025-02-12 14:09:55 檢舉

謝謝您!

我要發表回答

立即登入回答