鐵人檔案
這次的鐵人賽，我想用 「ML領域超級初學者」 的角度，記錄我在摸索 LLMOps 的過程。
「LLMOps」 聽起來很專業，但簡單來說，就是 ------ 如何把大語言模型 (LLM) 放到實際專案裡，並且能穩定、便宜又可控地跑起來。
因為我本身有一點 DevOps 的背景，所以會把這個系列寫成「實驗筆記」的形式：
每天試一個小主題，我會把程式碼都放在文章和 GitHub Repo 上，讓讀文章的人可以跟著一起練習，而不只是看概念。因為不是 ML 專家等級的文獻，文中不會過多的探究模型之間的差異性，如果讀者有興趣的話，可以自行深入探究，這邊的模型僅供學習參考。
🔹 前言 昨天我們談到 品質監控與幻覺偵測 ， 就算模型輸出的答案正確，還要確保它「可靠、可信」。但即使模型回答正確，還有一個現實問題： 👉 為什麼我的 LLM...
🔹 前言 昨天我們談到 Cache 與回應加速，解決了「同一問題反覆查詢」造成的延遲與成本浪費。 但 LLM 應用還有另一個大挑戰： 👉 模型與知識庫版本要怎麼...
🔹 前言 昨天（Day22）我們談到 Registry（模型／知識庫版本管理），確保任何時候線上跑的都是唯一正確的版本，並且升級、回滾都有紀錄可查。然而，現實世...
🔹 前言 Day 21 我們用 快取 把重複查詢變快、變省； Day 22 有了 Registry，管理不同模型與知識版本； Day 23 談了 再訓練與持續學...
🔹 前言 在 Day21–Day24，我們已經讓系統 更快、可回滾、能再訓練，並且具備 多模型路由 的能力。 但功能之外，還有另一個不可忽視的挑戰：安全性。 接...
🔹 前言 在過去幾天的章節中，我們逐步建立起一套可觀測、安全可靠、有效率的 LLM 應用基礎： Day 19 — 延遲、Token 與成本觀測：透過指標化（...
🔹 前言 經過前 26 天對於 RAG 以及對於 LLMOps 的各面向的學習，終於來到實作以及驗收這個 RAG FAQ Chatbot 的階段。今天的目標就是...
🔹 前言 ⚠️ 提醒：這篇文章是完整的雲端環境評估記錄。 內容會涵蓋成本試算、安全權衡、部署方式等細節，屬於「實務考量」的展開。本文適合「想控制雲端成本」且...
🔹 前言 Day28 做完了環境評估以及串接測試後，今天我們會實際把程式部署到 AWS 上面，看看整條路徑能不能撐得住。 首先把應用程式部署到 AWS EC2，...
🔹 第 30 天只是一個開始 這系列是我 9/4 起床時腦中靈光一閃決定要寫的。當我在 Day 1 決定最後目標是要做「一個企業知識庫 FAQ Chatbot...
