今日事項：知曉如何在自己的電腦上運行模型，並了解 Ollama 這個軟體
如果文章對你有幫助的話，歡迎按讚或留言，讓我知道我不是一個人在這裡碎碎念（？），我會很感謝的❤️
在 Day6 怪獸培育場－模型的一千種玩法 的時候我們有提到四種使用 AI 聊天模型的方法，今天我們要來聊聊第四種－－在自己的設備中運行模型。
AI 出現之後，大部分人的感覺就是「AI 好好用！」，但到了公司的 IT 人員或是一些比較在意資安的人身上後，第一個會想到的事情是：「我傳給他的資料會去哪裡？」
首先，這些模型如果是神奇寶貝的話，那就是養在「別人家的」，不管是前面所說的，在官網上用、在模型聚合平台上用，這些都是要去別人家玩。
而在別人家玩神奇寶貝就有一個缺點啦……誰知道他會不會亂講話？
這個模型是很厲害沒錯，你可以跟他聊天、可以請他生圖片，甚至也可以處理一些生活上的事情，不過，當這個模型把資料吃進去並記起來之後，會不會跟其他人講？
如果說跟其他人講比較難，那他會不會跟他的主人講？
是的，有許多模型公司是說不會拿來訓練資料，但他們也很強調，不要分享隱私資料，畢竟誰也不知道那個模型會不會把這些東西記起來……
還記得之前 ChatGPT 剛出來的時候，好像三星還哪家科技公司的資料因為聊天模型而外洩，那間公司有向 OpenAI 提出刪除資料的要求，但是 OpenAI 表示：「沒辦法啊，我們倒是也想刪除資料，不過你也知道這模型是深度學習模型，裡面疊著好幾層隱藏層呢，我們也不知道你的資料到底是在第幾層……」
這時候可能會有人想到，咦，昨天 Day10 有提說可以用雲端部屬，這樣的方法是不是可行。
說的沒錯，這樣的方法的確是可行的。
而雲端部屬主要使用模型的方法有兩種，第一種是可以利用 API 引用模型，另一種則是將模型抓到自己的雲端環境中，直接在雲端裡面跑。
相較之下，後面一種方法在隱私上面更強一點，雖然說直接將模型放在自己的雲端會佔用空間的問題，但勝在資料就在雲端裡面處理，不會傳出去。
但這樣的處理方式就夠了嗎？
放在自己的雲端空間運行，好像就沒問題了，畢竟現在的雲端服務處理商也都還蠻有公信力的，說不會把資料外流就沒有外流。
不過說實在，那些大公司的老闆會信這些話嗎？
是，你是說不會把資料外洩，但是如果在利益足夠大的情況下，會嗎？
就算信得過，如果因為各種不小心或是駭客入侵等等的導致資料外洩，這些機密資料在雲端還是有風險。
所以在模型的使用上也因此多出了一種形式－－自建硬體，並在本地的設備上運行模型。
這樣處理甚至不用連線、不用擔心有駭客綁架雲端資料的問題。
前面有說到有些大公司可能會選擇在自己的設備上運行模型，這時候就有人想著了，噢，這篇文章應該是 for 企業看的，跟我們平民百姓沒有關係。
不對不對，雖然這些設備很貴，但誰說我們平常跑模型一定要用到多大多好的模型？用參數量小一點的模型跑也可以啊！
這時候 Ollama 就是一個很好的選擇。
Ollama 是一個可以讓使用者在自己電腦上運行模型的軟體，最大的特色就是簡單易用，可以很快地在自己電腦上部屬模型。
當然，想要玩的話，硬體設備也有幾點最低要求：
20 GB 以上。4 核心。最低 8 GB。最好可以 16 GB 以上，在大模型會跑得比較順。選配。有的話，速度會大幅提升。6 GB VRAM 約莫可以很順的跑 7 B 的模型（約這樣的比例估算）去網站按照你的作業系統下載
打開進到這個畫面，可以在 Prompt 框右下角選擇你要的模型，在送出第一句的問題之後，他就會開始下載這個模型，等模型下載完，就可以在電腦上使用 Ollama 聊天了。
好消息是，原本的 Ollama 不是長現在這樣，是要在命令提示字元裡面跑的，現在介面長的跟一般的聊天介面一樣是因為有改版過，所以沒有碰過城市的人使用不會一臉茫然。
如果想要在自己電腦本地運行 AI 模型，Ollama 會是一個很好的開始。
畢竟，一開始聽到要在自己的電腦跑 AI，可能許多人想說應該很複雜，但其實就像上面的步驟，就兩步，等軟體和模型下載下來之後就可以用了，完全不需要使用門檻。
唯一會擋住人的使用門檻，應該就是設備硬體不過關吧。
不過像上面列出的硬體，對於一般的 Llama 7B、Gemma 7B、Mistral 7B 等等的模型，都可以正常運行；不過如果你對最近 OpenAI 推出的 gpt-oss 20B 有興趣（120B 是不用想了），那建議至少 RAM 24GB、VRAM 16GB，這樣會比較順。
如果條件沒有到的話呢，他還是會跑起來，只是速度會非常慢，至於有多慢……那就看電腦配置囉。
之前我有在舊電腦用過一次，那時候大概慢到，一秒一個字？就是你會看到那個字一個一個慢慢爬出來，挺有數羊催眠的效果。
iThome鐵人賽
看影片追技術