大家好, 近日AI炒得熱熱的, 因此想試試自己家中建一個模型。
軟硬件如下:
i9 , RTX 4060 , 16G記憶體
Windows 11 , CUDA TOOLKIT 12.8
已安裝步驟:
輸入問題後它一直運作, 但它運作時, GPU一直0%
想問要如何才能用到GPU? 等運行能加快。
謝謝
開啟工作管理員的效能頁籤，輸入提示可看到GPU使用率，瞬間有衝到50%。
若GPU使用率=%，可設set CUDA_VISIBLE_DEVICES=0，再執行ollama run deepseek-r1。
你去CUDA toolkit選擇windows11版 11.8 CUDA toolkit，12的反而沒有11.7、11.8的穩定度好，安裝CUDA之後，跑ollama記憶體就會滿載，GPU就會上去15~45%了
再到Chrom擴充元件下載WebUI界面，這樣你執行完ollama或是run ollama deepseek-r3，直接就在Chrome界面上使用就好，
而且webUI版可以勾聯網搜索，也不限你2021年以前資料
https://chromewebstore.google.com/detail/page-assist-a-web-ui-for/jfgfiigpkhlkbnfnbobbkinehhfdhndo?hl=zh-TW
如果你抓的deepseek是32b以上的還可以辨識圖片，但是GPU會有點硬剛
iThome鐵人賽
看影片追技術
看更多
