前情提要

上篇文章講了 LLM，有些要付錢、有些要寫程式、有些受限於網路。那這篇文章就來簡單說一下 Ollama 這個免費開源的軟體，透過 UI 操作就可以很簡單的使用各種 LLM。

安裝 Ollama

進入 Ollama 的官網安裝～

💡要使用最新版本的 ollama 才可以使用 Meta 最新的 llama3.1 喔～

挑選並下載喜歡的 LLM

進入 Ollama Library 可以看到各種 LLM。這邊可以看到的 LLM 都是可以下載的，透過以下指令即可將 LLM 下載到本機使用。

📍來自 Ollama 官方的提醒
You should have at least 8 GB of RAM available to run the 7B models, 16 GB to run the 13B models, and 32 GB to run the 33B models.

ollama pull llama3.1
ollama list

安裝 UI 介面

要在本機跟 Ollama 互動，除了 Terminal 指令之外，可以透過安裝 Open WebUI 來使用。那這個東東可以使用 Docker，也可以直接在本機透過簡單的程式指令安裝。可以根據自身硬體設備來選擇安裝哪種，那我是為了後續好增加別的功能，所以選擇安裝在本機。

Docker

使用 Docker 是相對容易，只要確定你的電腦有裝 Docker，開啟 Terminal 輸入以下指令就可以了！

確認本機有無 Docker

docker --version
# output : Docker version 26.0.0, build 2ae903e

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

上面指令執行完成後，到瀏覽器輸入 http://localhost:3000 就開啟互動的 UI 介面了。

本機使用

1. 要在本機使用 Open WebUI，需要安裝 Open WebUI 前後端使用的程式語言。前端是使用 Node.js，後端是使用 Python。那像我在 Day1 說的，為了避免環境打架，我會使用 conda 虛擬環境，在特定環境安裝 Open WebUI 的依賴套件即可。

Node.js 安裝 點我進入 Node.js 官網
Anaconda 安裝 點我進入 Anaconda 官網

2. 安裝好上述兩個程式語言之後，要將 Open WebUI 的整包程式給抓下來。來到 Open WebUI 的 GitHub 接著找到可以下載的網址 (如下圖)，並在 Terminal 輸入指令即可下載下來整包程式。

git clone https://github.com/open-webui/open-webui.git

3. 將整包下載下來之後，檔案夾會叫做 open-webui，在 open-webui 資料夾開啟程式編輯器，我是使用 VS Code。先來建立一個 Python 環境，建立成功後，將環境給 Run 起來。

conda create --name openwebui python=3.11

# 開啟虛擬環境
conda activate openwebui

# 關閉虛擬環境
conda deactivate

4. 接著切換路徑至 backend 資料夾，那邊有 Open WebUI 的依賴套件檔 (requirements.txt)。我們就透過簡單的指令安裝套件。

cd backend

# -U 為安裝套件最新版本，自行決定是否要加 -U
pip install -r requirements.txt -U

5. 這樣後端架構就已經搭建完成，那麼前端也很簡單。回到一開始的主資料夾 open-webui，接著在終端機輸入以下指令：

// 確認本機 node.js
node --version
npm --version

// 搭建前端架構
npm install
npm run build

6. 最後我們回到 backend 資料夾，透過以下指令將 Open WebUI 給 Run 起來！

bash start.sh

✅接著就可以在 http://localhost:8080/auth/ 看到登入介面了！
⚠️要注意本機電腦的 8080 port 是空著的喔！

與 LLM 互動

這個登入畫面其實不用輸入真的 email，隨便輸入即可，第一個註冊的人會成為管理員。那如果下次開啟要登入忘記帳號密碼怎麼辦呢？只要進到一開始下載的主資料夾 open-webui，然後進入 backend ，接著找到 data 資料夾底下的 webui.db ，將他刪除即可重新註冊登入。

登入之後來到首頁，選擇要使用的模型就可以玩玩看啦！

結論

今天透過簡單的指令 Run 起來整個 Open WebUI 的架構，不需要寫任何 code，對程式小白相當的友善。而且其實蠻吃電腦效能的，如果本地不行還有 Docker 可以將環境 Run 起來，互動介面也長的一模一樣。

題外話🤣

凌晨熬夜看奧運男籃八強的比賽結果早上上班差點遲到哈哈哈，重點是我支持的球隊加拿大還輸球，雖然我大 SGA 一肩扛起整支球隊。只能寄生德國男籃了，希望能擊敗美國拿金牌！

下一篇文章：Ollama UI 應用