iT邦幫忙

鐵人檔案

2025 iThome 鐵人賽
回列表
AI & Data

「30 天打造 Discord AI 助手:結合本地 LLM 與 IoT 的智慧生活」 系列

AI & LLM:串接本地模型(Ollama),支援串流回覆、個人化人格、使用者記憶。

客服應用:透過 Flask 微服務實作 FAQ、訂單查詢、工單建立,模擬真實企業客服場景。

IoT 整合:使用 Raspberry Pi Pico W 打造 Web API,實現 LED 控制、溫度/光線感測,每日自動推播到 Discord。

語音互動:語音訊息 → Whisper 語音轉文字 → LLM 工具規劃 → IoT 控制,達到「用說的就能開燈」。

部署實務:Docker Compose、一鍵啟動、GitHub Actions CI/CD,完整落地可運行的專案。

參賽天數 11 天 | 共 12 篇文章 | 2 人訂閱 訂閱系列文 RSS系列文
DAY 1

Day 1:鐵人賽啟程!打造本地 LLM + Web UI 系統的 30 天挑戰

📌 為什麼要做這個挑戰? 生成式 AI 正在改變世界,但市面上大多數服務(如 ChatGPT、Claude、Gemini)都依賴雲端: 問題 1:成本 長時...

DAY 2

Day 2:在 Ubuntu 上安裝 Portainer,圖形化管理 Docker 容器

📌 背景與目標 昨天我們完成了環境規劃與基礎工具安裝,今天要邁出第一個關鍵步驟:安裝 Docker 與 Portainer。 為什麼需要 Docker? LL...

DAY 3

Day 3:Ollama 介紹 — 本地 LLM Server 架構解析與安裝實作

📌 背景 到目前為止,我們已經完成了: Day 1:規劃整體挑戰藍圖 Day 2:安裝 Docker 與 Portainer 接下來,真正的主角要登場了...

DAY 4

Day 4:拉取並執行 Gemma 3 4B 模型 — 使用 Ollama 啟動推理任務

📌 背景 昨天我們安裝了 Ollama,並用內建的 llama2 測試了基本功能。 今天要挑戰的是 Google 開源的 Gemma 3 4B 模型。 🔎 為什...

DAY 5

Day 5:內建模型大比拼:llama3、Gemma 3 4B 效果比較

📌 背景 到目前為止,我們已經在本地安裝並運行了: LLaMA 系列(llama2/3) Google Gemma 3 4B 今天的目標就是把它們拉...

DAY 6

Day 6:效能觀察與資源監控:檢測 GPU VRAM 使用情況

跑大語言模型的時候,你是不是一邊盯著終端機、一邊祈禱顯存不要爆掉? 本篇聚焦 安裝步驟 與 動態顯示 VRAM 的實戰做法,讓你即時看見顯存水位,避免 OOM...

DAY 7

Day 7:第一週成果回顧與整合展示

從 Day 1 到 Day 6,我們一步步打造了本地 LLM 的基礎環境。這一週的核心目標是: ✅ 讓模型能在自己的電腦上跑起來,並具備 API 呼叫能力。 經...

DAY 8

Day 8:什麼是 Open WebUI?特色與應用場景介紹

在第一週,我們已經能夠: 在本地運行 Ollama 下載並測試多個模型(LLaMA 3、Gemma 3 4B 等) 透過 API 與模型互動 但目前的操作...

DAY 9

Day 9:透過 Docker 安裝與啟動 Open WebUI

📌 背景 昨天我們認識了 Open WebUI,它是一個開源的 ChatGPT 風格網頁介面,可以串接 Ollama 與其他 LLM 後端。 今天的任務是:...

DAY 10

Day 10:將 Open WebUI 串接 Ollama,完成前後端對接

📌 背景 昨天我們已經成功啟動了 Open WebUI,能夠在瀏覽器上操作介面。 但目前它還只是個「空殼子」,沒有真正的 模型引擎 支撐。 今天的目標就是:...