iT邦幫忙

0

樹莓派可以塞多大的模型?

  • 分享至 

  • xImage

如題,因為專題想要把建好的模型塞進樹莓派裡面做實際的應用,有查過不同型號的樹莓派都有不同的容量大小,但不確定我的模型塞進去到底可不可行,會不會需要做剪枝?因此想詢問各位有經驗的人。
圖中是我建好的模型大小,大約70MB
https://ithelp.ithome.com.tw/upload/images/20250414/201376860gGoOC11xF.png

DennisLu iT邦好手 1 級 ‧ 2025-04-14 15:04:31 檢舉
不同容量的樹莓派是記憶體大小。
若專案是只走32位元的系統,最大買到4GB就好。走64位元就上8GB。
樹莓派裸版本身沒有儲存空間,
提供一個讀卡機插槽,
預設系統媒體是MicroSD記憶卡,看你接的記憶卡有多少容量。但記憶卡讀寫能力較差。
不然就是改USB模式,用USB硬碟外接盒裝上HDD/SSD或DAS做RAID1之類當系統碟開機。
haward79 iT邦好手 3 級 ‧ 2025-04-15 17:36:43 檢舉
如果是要跑AI模型,可考慮Jetson Nano
雖然Pi也能跑,但受限於硬體和效能,可能會比較費力
我是做類神經網路的,主要是結合2種神經網路來辨識影像,這樣子是要買8GB的嗎?

2 個回答

0
zivzhong
iT邦研究生 3 級 ‧ 2025-04-16 10:18:31

有人在 raspi4 上有成功跑 7B 模型:
https://github.com/ggml-org/llama.cpp/issues/58

0
kikulu
iT邦研究生 3 級 ‧ 2025-04-17 15:03:34

模型size要小於記憶體大小,這是先決條件,不然根本載入不了
但是還要加上其他應用需要的記憶體,以及跑模型的程式需要的
單論模型大小就是只看記憶體夠不夠用而已
你可以去搜尋看看你用的架構有沒有其他人在pi用過,這會比較明確

我是做類神經網路的,主要是結合2種神經網路來做辨識影像
網路上是有查到結合pi的類神經網路(但和我的模型架構不同),他在4GB的pi上跑參數量為10M的模型,而我的模型參數量是18M,這樣選8GB的pi是不是比較保險?

我要發表回答

立即登入回答