iT邦幫忙

2026 iThome 鐵人賽

DAY 5
0
AI Engineering

3分鐘 AI Agent導論系列 第 5

[3分鐘 AI Agent導論] Day5 -- Build your own LLM(2)

  • 分享至 

  • xImage
  •  

在知道設備型號後,接著就進入正題吧
首先去Ollama把模型抓下來 這次先選Qwen 3.5:4b

B = 參數量 ,主要影響記憶體 / 顯存需求、推論速度與延遲等..

這次練習主要是想讓大家知道LLM跟Agent的差異

要注意的是,我們用powershell時,請不要隨意使用空白鍵,因為指令有可能因為這樣而無法判定。

回到正題,要先選要放在哪一個資料夾,建議在本機開一個獨立資料夾,不要在.\user\使用者,這個資料夾

首先安裝Ollama

winget install Ollama.Ollama

檢查是否成功

ollama --version

成功會顯示版本

啟動 Ollama 服務

ollama list

第一次執行可能看到:

NAME ID SIZE MODIFIED

表示目前尚未下載任何模型

下載 Qwen3.5 4B

ollama pull qwen3.5:4b

完成後查看:

ollama list

執行你的第一個 LLM

啟動模型:

ollama run qwen3.5:4b

可以是這輸入"今天天氣如何"、"甚麼是大語言模型"
然後比較這個模型跟Gemini/Chatgpt/Claude的比較

基本上"今天天氣如何"這個問題,模型會卡在推理(而且會一直循環);但是"甚麼是大語言模型"這個問題,兩邊都能給出好的回答。

因為模型本身並沒有調用工具、連接到外部的功能;反觀我們常見的AI,並不是所謂的"大語言模型",需要把它們看成"Agent",這也是我們這一系列的主題。


上一篇
[3分鐘 AI Agent導論] Day4 -- Build your own LLM(1)
下一篇
[3分鐘 AI Agent導論] Day6 -- What is AI Agent?
系列文
3分鐘 AI Agent導論10
圖片
  熱門推薦
圖片
{{ item.channelVendor }} | {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言