iT邦幫忙

2

在自己的電腦上運作LLM - Ollama Server

  • 分享至 

  • xImage
  •  

Ollama 是一個讓你在自己電腦上執行大型語言模型(LLM)的工具。它把下載、管理與執行模型這些流程做得很簡單,常用於離線聊天、程式輔助、私有資料問答等情境。

1. Ollama 官網下載

https://ithelp.ithome.com.tw/upload/images/20260905/20158525rXGonSvvHe.png


2. 開啟 Cmd 執行 ollama run [model 名稱]

以下指令可以啟動 llam3.1 Model (第一次執行時,會需要一點時間進行下載)

ollama run llama3.1:latest 

3. 確認Ollama Server是否正常啟動

Ollama Server 預設啟用:http://localhost:11434 ,開啟瀏覽器可以看到以下畫面

https://ithelp.ithome.com.tw/upload/images/20260905/20158525Ot7r9MhsQs.png


4. Ollama API 與LLM 傳遞資訊

Ollama API

以 Postman 測試 API

https://ithelp.ithome.com.tw/upload/images/20260905/20158525rBla7EpDyk.png


圖片
  熱門推薦
圖片
{{ item.channelVendor }} | {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言