iT邦幫忙

鐵人檔案

2025 iThome 鐵人賽
回列表
DevOps

30 天帶你實戰 LLMOps:從 RAG 到觀測與部署 系列

這次的鐵人賽,我想用 「ML領域超級初學者」 的角度,記錄我在摸索 LLMOps 的過程。
「LLMOps」 聽起來很專業,但簡單來說,就是 ------ 如何把大語言模型 (LLM) 放到實際專案裡,並且能穩定、便宜又可控地跑起來。

因為我本身有一點 DevOps 的背景,所以會把這個系列寫成「實驗筆記」的形式:
每天試一個小主題,我會把程式碼都放在文章和 GitHub Repo 上,讓讀文章的人可以跟著一起練習,而不只是看概念。因為不是 ML 專家等級的文獻,文中不會過多的探究模型之間的差異性,如果讀者有興趣的話,可以自行深入探究,這邊的模型僅供學習參考。

參賽天數 24 天 | 共 24 篇文章 | 2 人訂閱 訂閱系列文 RSS系列文
DAY 1

Day01 - 為什麼需要 LLMOps?與傳統 MLOps 差異

🔹 前言 過去幾年,大家談 MLOps(Machine Learning Operations)時,重點都放在「如何讓機器學習模型可以產品化與維運」。 但隨著...

2025-09-15 ‧ 由 Hazel 分享
DAY 2

Day02 - 系列專案介紹:企業知識庫 QA Chatbot

🔹 前言 通常工程師們在接到新任務的時候會由 PM (Product Manager) 產生 PRD。今天,我們也要照這個流程,先來釐清「為什麼」要做這個專案,...

2025-09-16 ‧ 由 Hazel 分享
DAY 3

Day03 - 環境準備:Docker + Conda

🔹 前言 昨天(Day 2)我們扮演了 PM,把專案的需求、目標和架構拆解清楚。 今天開始,就要進入實作階段了,專案程式碼已放在 GitHub,之後如果有 De...

2025-09-17 ‧ 由 Hazel 分享
DAY 4

Day04 - 向量資料庫(Vector Database)- 常見選項與實務比較

🔹 前言 在 LLMOps 的世界裡,向量資料庫 (Vector Database) 幾乎是 RAG(Retrieval-Augmented Generatio...

2025-09-18 ‧ 由 Hazel 分享
DAY 5

Day05 - 向量模型(Embedding)- 四種 Embedding 模型實測與選型

🔹 前言 昨天 (Day 4) 我們比較了 向量資料庫,解決了「知識要存在哪裡,怎麼檢索」的問題。 但在 RAG (Retrieval-Augmented Ge...

2025-09-19 ‧ 由 Hazel 分享
DAY 6

Day06 - 初探 RAG(Retrieval-Augmented Generation)

🔹 前言 前兩天我們分別搞定了 RAG 的兩個基礎拼圖: Day 4 向量資料庫 → 負責「存資料」以及「找尋片段」 Day 5 Embedding 模型...

2025-09-20 ‧ 由 Hazel 分享
DAY 7

Day07 — 最小可行的 RAG QA Bot(Web 版 MVP)

🔹 前言 昨天 (Day 6) 我們第一次跑出 Minimal RAG QA Bot,流程是: 使用者提問 → Embedding → 檢索 → LLM 回答。...

2025-09-21 ‧ 由 Hazel 分享
DAY 8

Day08 - 文件清洗 (Cleaning) 與切片策略 (Chunking Strategies)

🔹 前言 昨天我們做了一個最小可行的 QA Bot,但知識庫的單位是「整句 FAQ」,格式非常乾淨。 然而真實情況下,文件來源可能包含: Word / PDF...

2025-09-22 ‧ 由 Hazel 分享
DAY 9

Day09 - 向量化 (Vectorize)與索引(Index)建立

🔹 前言 昨天(Day 8)我們完成了兩件重要的事: 文件清洗 (Cleaning) → 把雜訊、廣告、過長段落處理乾淨,確保知識來源乾淨。 文件切片 (...

2025-09-23 ‧ 由 Hazel 分享
DAY 10

Day10 - RAG 查詢實作:Retriever+Reranker 與模型評測

🔹 前言 昨天(Day 9)我們已經完成了 文件向量化 和 索引建立,現在我們擁有一個能快速查詢的向量資料庫。 但光靠索引檢索出來的結果,往往只是一個「初步的...

2025-09-24 ‧ 由 Hazel 分享