第十七屆 優選

devops
30 天帶你實戰 LLMOps:從 RAG 到觀測與部署
Hazel

系列文章

DAY 21

Day21 - LLM 應用快取實戰:成本改善 × 加速回應

🔹 前言 昨天我們談到 品質監控與幻覺偵測 , 就算模型輸出的答案正確,還要確保它「可靠、可信」。但即使模型回答正確,還有一個現實問題: 👉 為什麼我的 LLM...

DAY 22

Day22 - LLM 與知識庫的版本控制中心:Model Registry

🔹 前言 昨天我們談到 Cache 與回應加速,解決了「同一問題反覆查詢」造成的延遲與成本浪費。 但 LLM 應用還有另一個大挑戰: 👉 模型與知識庫版本要怎麼...

DAY 23

Day23 - 讓 LLM 應用與時俱進:RAG 增量 × Fine-tuning 部署與治理指南

🔹 前言 昨天(Day22)我們談到 Registry(模型/知識庫版本管理),確保任何時候線上跑的都是唯一正確的版本,並且升級、回滾都有紀錄可查。然而,現實世...

DAY 24

Day24 - LLM 應用分流:用任務分類做到省錢可靠

🔹 前言 Day 21 我們用 快取 把重複查詢變快、變省; Day 22 有了 Registry,管理不同模型與知識版本; Day 23 談了 再訓練與持續學...

DAY 25

Day25 - LLM 應用安全:OWASP Guardrails 防 Prompt Injection 與資料外洩(含實測)

🔹 前言 在 Day21–Day24,我們已經讓系統 更快、可回滾、能再訓練,並且具備 多模型路由 的能力。 但功能之外,還有另一個不可忽視的挑戰:安全性。 接...

DAY 26

Day26 - LLM 應用成本改善:如何採用 MVP 三步驟節省 40% 成本?

🔹 前言 在過去幾天的章節中,我們逐步建立起一套可觀測、安全可靠、有效率的 LLM 應用基礎: Day 19 — 延遲、Token 與成本觀測:透過指標化(...

DAY 27

Day27 - RAG FAQ Chatbot 實戰案例 I:功能驗收全紀錄(檢索 × 快取 × 安全 × 監控)

🔹 前言 經過前 26 天對於 RAG 以及對於 LLMOps 的各面向的學習,終於來到實作以及驗收這個 RAG FAQ Chatbot 的階段。今天的目標就是...

DAY 28

Day28 - RAG FAQ Chatbot 實戰案例 II:Cloudflare + AWS 低成本架構與完整試算

🔹 前言 ⚠️ 提醒:這篇文章是完整的雲端環境評估記錄。 內容會涵蓋成本試算、安全權衡、部署方式等細節,屬於「實務考量」的展開。本文適合「想控制雲端成本」且...

DAY 29

Day29 - RAG FAQ Chatbot 實戰案例 III:部署、連通、觀測與成本驗證

🔹 前言 Day28 做完了環境評估以及串接測試後,今天我們會實際把程式部署到 AWS 上面,看看整條路徑能不能撐得住。 首先把應用程式部署到 AWS EC2,...

DAY 30

Day30 - 從 62% 到 75%+:Production Readiness 的最後一哩路

🔹 第 30 天只是一個開始 這系列是我 9/4 起床時腦中靈光一閃決定要寫的。當我在 Day 1 決定最後目標是要做「一個企業知識庫 FAQ Chatbot...