iT邦幫忙

2025 iThome 鐵人賽

DAY 30
0

這 29 天,我把生成式 AI 從概念走到實作:先釐清 LLM/Transformer、提示工程與風險;再用 Ollama 下載語言模型,搭配 Docker 做環境還原,透過 Open WebUI進行體驗;後段加入系統提示詞與記憶(Conversation Memory),並測試上傳檔案、附加網頁/筆記,以及語音與相機等多來源輸入。

過程
• Day 1–19:生成式AI介紹(定義、歷史、LLM/Transformer、提示工程、聊天機器人設計原則與場景、風險)
• Day 20–23:完成環境開發(Ollama、模型下載、Docker、Open WebUI 安裝)
• Day 24–29:體驗與優化(首次對話、人格化 System Prompt、上傳檔/語音/相機/附加網頁/筆記、開啟記憶)

心得
生成式 AI 的本質是「用大量資料學來生成內容」的模型(非只做判斷),從 n-gram/RNN 演進到 Transformer,再到以 LLM 為核心的應用。對我來說,關鍵不在盲追參數,而在脈絡跟資料:別急著換更大模型,先把你要什麼、怎麼出、參考在哪講明白,品質會更可控。情境上它能寫作、摘要、問答、助教,但是也有要注意的風險:幻覺、偏見、版權與隱私。

這次實作的部分,我用 Ollama 下載語言模型 + Docker 定版環境,再配 Open WebUI 探索,優點是可以離線使用、可重現、成本可控。人格化系統提示與多來源脈絡(檔案/網頁/筆記)讓回答更符合;但偶爾會出現回復過短,則需靠字數/步驟格式與「重置記憶」解決。


上一篇
開啟記憶(Conversation Memory)
系列文
生成式 AI開發:打造聊天機器人30
圖片
  熱門推薦
圖片
{{ item.channelVendor }} | {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言