🔹 前言 ⚠️ 提醒：這篇文章是完整的雲端環境評估記錄。 內容會涵蓋成本試算、安全權衡、部署方式等細節，屬於「實務考量」的展開。本文適合「想控制雲端成本」且...
🔹 前言 經過前 26 天對於 RAG 以及對於 LLMOps 的各面向的學習，終於來到實作以及驗收這個 RAG FAQ Chatbot 的階段。今天的目標就是...
🔹 前言 在過去幾天的章節中，我們逐步建立起一套可觀測、安全可靠、有效率的 LLM 應用基礎： Day 19 — 延遲、Token 與成本觀測：透過指標化（...
🔹 前言 在 Day21–Day24，我們已經讓系統 更快、可回滾、能再訓練，並且具備 多模型路由 的能力。 但功能之外，還有另一個不可忽視的挑戰：安全性。 接...
🔹 前言 Day 21 我們用 快取 把重複查詢變快、變省； Day 22 有了 Registry，管理不同模型與知識版本； Day 23 談了 再訓練與持續學...
🔹 前言 昨天（Day22）我們談到 Registry（模型／知識庫版本管理），確保任何時候線上跑的都是唯一正確的版本，並且升級、回滾都有紀錄可查。然而，現實世...
🔹 前言 昨天我們談到 Cache 與回應加速，解決了「同一問題反覆查詢」造成的延遲與成本浪費。 但 LLM 應用還有另一個大挑戰： 👉 模型與知識庫版本要怎麼...
🔹 前言 昨天我們談到 品質監控與幻覺偵測 ， 就算模型輸出的答案正確，還要確保它「可靠、可信」。但即使模型回答正確，還有一個現實問題： 👉 為什麼我的 LLM...
🔹 前言 昨天我們談到 延遲、Token 與成本 的監控，確保系統「跑得快、花得省」。 但如果模型輸出的答案是錯的呢？ 👉 在 LLM 應用中，Hallucin...
🔹 前言 昨天我們完成了 API Gateway，讓前端可以透過一個統一的 Proxy 來存取 LLM。 但在真實運行環境裡，還有一個非常現實的問題： 👉 我的...
🔹 前言 經過前面系列的文章，我們已經從零搭建出一條完整的 RAG Pipeline ，目前具備以下能力： 文件清洗與 Chunking 把原始文件整理成乾...
🔹 前言 前 16 天，我們一路鋪陳了基礎觀念： 從 RAG 檢索架構、快取、觀測性、Prompt 設計 到 Workflow 工具（LangChain + G...
🔹 前言 昨天我們談到 Prompt 系統化：包括模板化、版本管理、測試與整合。這些設計，讓我們能像管理程式碼一樣管理 Prompt。 但在真實應用中，單一 P...
🔹 前言 在使用 LLM（大型語言模型）的時候，我們其實是透過一段「指令」來告訴模型要做什麼，這段指令就叫做 提示詞（Prompt）。 在 Day 15 &a...
🔹 前言 終於來到和 DevOps 這個主題比較相關的部分了，感謝前面有耐心跟著讀的讀者 😆 在 RAG 系統裡，我們需要週期性地做很多「重複又必要」的工作來讓...
🔹 前言 昨天（Day 12）我們談到了 知識庫資料管理： 多種來源整合 → 把 PDF、Web、API 等不同來源轉換成統一格式。 資料版本控制 → 用 D...
🔹 前言 經過前幾天（Day 8–11） 的實作，我們已經完成了從 文件清洗 → Chunking → 向量化 → 索引 → 查詢流程 → 上下文組裝 的基礎。...
🔹 前言 昨天（Day 10）我們把「查詢流程」串了起來： Retriever：快速找出候選文件。 Reranker：重新排序，把最相關的文件放到最前面。...
🔹 前言 昨天（Day 9）我們已經完成了 文件向量化 和 索引建立，現在我們擁有一個能快速查詢的向量資料庫。 但光靠索引檢索出來的結果，往往只是一個「初步的...
🔹 前言 昨天（Day 8）我們完成了兩件重要的事： 文件清洗 (Cleaning) → 把雜訊、廣告、過長段落處理乾淨，確保知識來源乾淨。 文件切片 (...
🔹 前言 昨天我們做了一個最小可行的 QA Bot，但知識庫的單位是「整句 FAQ」，格式非常乾淨。 然而真實情況下，文件來源可能包含： Word / PDF...
🔹 前言 昨天 (Day 6) 我們第一次跑出 Minimal RAG QA Bot，流程是： 使用者提問 → Embedding → 檢索 → LLM 回答。...
🔹 前言 前兩天我們分別搞定了 RAG 的兩個基礎拼圖： Day 4 向量資料庫 → 負責「存資料」以及「找尋片段」 Day 5 Embedding 模型...
🔹 前言 昨天 (Day 4) 我們比較了 向量資料庫，解決了「知識要存在哪裡，怎麼檢索」的問題。 但在 RAG (Retrieval-Augmented Ge...
🔹 前言 在 LLMOps 的世界裡，向量資料庫 (Vector Database) 幾乎是 RAG（Retrieval-Augmented Generatio...
🔹 前言 昨天（Day 2）我們扮演了 PM，把專案的需求、目標和架構拆解清楚。 今天開始，就要進入實作階段了，專案程式碼已放在 GitHub，之後如果有 De...
🔹 前言 通常工程師們在接到新任務的時候會由 PM (Product Manager) 產生 PRD。今天，我們也要照這個流程，先來釐清「為什麼」要做這個專案，...
鐵人賽的最後，我們再來談最近很多人關心的主題：LLMOps。 過去幾年中，MLOps 已經成為顯學。MLOps 以其自動化、標準化以及對模型全生命周期管理的能力...
MLOps 發展已經有一段時間，但是在 2020 年才開始逐漸被廣泛討論，這是因為在過去許多企業開始將 AI/ML 應用於生產環境，並開始面臨 AI/ML 應用...
MLOps 的發展也已經經歷了 5 年以上，目前來到了 LLM (大型語言模型) 的時代，而 LLM 的訓練與部署，更是需要更多的資源與時間，因此 MLOps...
Hazel
大魔術熊貓工程師
jimmyliao
iThome鐵人賽
看影片追技術