iT邦幫忙

2025 iThome 鐵人賽

DAY 1
1
AI & Data

「30 天打造 Discord AI 助手:結合本地 LLM 與 IoT 的智慧生活」系列 第 1

Day 1:鐵人賽啟程!打造本地 LLM + Web UI 系統的 30 天挑戰

  • 分享至 

  • xImage
  •  

📌 為什麼要做這個挑戰?

生成式 AI 正在改變世界,但市面上大多數服務(如 ChatGPT、Claude、Gemini)都依賴雲端:

  • 問題 1:成本

    長時間使用雲端 LLM 成本非常高,尤其是需要 API 的開發者。

  • 問題 2:隱私

    如果要處理公司機密或個人敏感資訊,把資料傳到雲端始終有風險。

  • 問題 3:可控性

    雲端模型不可控,我們無法自由調整系統 Prompt、客製化資料庫,甚至無法完全掌握更新。

這也是為什麼 「本地化部署 LLM」 正在成為一個熱門話題。

透過 Ollama + Web UI,我們可以:

  • 在自己的電腦上執行大語言模型
  • 完全掌握數據,不經過第三方
  • 延伸應用到 Discord Bot / IoT 控制 / 行動助手

因此,我決定展開這個 30 天鐵人挑戰,目標是從 0 到 1 打造一個 完整的本地 AI 助手生態系統


🏗️ 30 天計畫藍圖

分成五大階段:

  1. 第一週:環境建置與模型部署
    • Docker、Portainer、Ollama 安裝與測試
    • 拉取不同模型,測試效能
  2. 第二週:Web UI 與前後端串接
    • 安裝 Open WebUI
    • 與 Ollama 串接
    • Python API 呼叫、ngrok 對外公開
  3. 第三週:Discord Bot 整合 LLM
    • 撰寫 Bot 程式碼
    • 與 Ollama API 串接
    • 加入角色設計、個人化對話
  4. 第四週:IoT 控制應用
    • Raspberry Pi Pico W 環境建置
    • MicroPython 控制 IoT 裝置
    • 透過 LLM 進行自然語言控制
  5. 第五週:最終成果與分享
    • Discord 行動 AI 助手
    • 語音控制家電
    • GitHub 專案整理 + 心得總結

🛠️ Day 1 實作 — 環境確認與準備

Step 1:作業系統選擇

這次挑戰的主要環境是 Ubuntu 22.04 LTS

為什麼選 Ubuntu?

  • 社群資源多,遇到問題容易找到解法
  • 與 AI 框架、NVIDIA CUDA、Docker 相容性好
  • 適合長期部署

(💡 如果你是 Windows 使用者,可以考慮 WSL,但效能會稍微差一些)

Step 2:硬體需求規劃

大語言模型吃硬體,這裡列出基本需求:

  • CPU:至少 8 核心(建議 12+)
  • RAM:16GB 起跳(32GB 更佳)
  • GPU:NVIDIA RTX 系列,VRAM 6GB 以上
  • 硬碟:至少 100GB 可用空間(模型檔案會很大)

系列文
「30 天打造 Discord AI 助手:結合本地 LLM 與 IoT 的智慧生活」1
圖片
  熱門推薦
圖片
{{ item.channelVendor }} | {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言