如題,因為專題想要把建好的模型塞進樹莓派裡面做實際的應用,有查過不同型號的樹莓派都有不同的容量大小,但不確定我的模型塞進去到底可不可行,會不會需要做剪枝?因此想詢問各位有經驗的人。
圖中是我建好的模型大小,大約70MB
有人在 raspi4 上有成功跑 7B 模型:
https://github.com/ggml-org/llama.cpp/issues/58
模型size要小於記憶體大小,這是先決條件,不然根本載入不了
但是還要加上其他應用需要的記憶體,以及跑模型的程式需要的
單論模型大小就是只看記憶體夠不夠用而已
你可以去搜尋看看你用的架構有沒有其他人在pi用過,這會比較明確