iT邦幫忙

鐵人檔案

2025 iThome 鐵人賽
回列表
DevOps

30 天帶你實戰 LLMOps:從 RAG 到觀測與部署 系列

這次的鐵人賽,我想用 「ML領域超級初學者」 的角度,記錄我在摸索 LLMOps 的過程。
「LLMOps」 聽起來很專業,但簡單來說,就是 ------ 如何把大語言模型 (LLM) 放到實際專案裡,並且能穩定、便宜又可控地跑起來。

因為我本身有一點 DevOps 的背景,所以會把這個系列寫成「實驗筆記」的形式:
每天試一個小主題,我會把程式碼都放在文章和 GitHub Repo 上,讓讀文章的人可以跟著一起練習,而不只是看概念。因為不是 ML 專家等級的文獻,文中不會過多的探究模型之間的差異性,如果讀者有興趣的話,可以自行深入探究,這邊的模型僅供學習參考。

鐵人鍊成 | 共 34 篇文章 | 8 人訂閱 訂閱系列文 RSS系列文

Day31 - 鐵人賽後記:30 天、 ♾️ 次想放棄、1 句感謝

🔹 對於前輩的感謝 我在工作中有遇到一位很特別的前輩,他太忙了大概不會看鐵人賽。 他對於基礎建設成本數字的精算程度以及技術選型都讓人望塵莫及,讓我對於 SRE...

2025-10-15 ‧ 由 Hazel 分享

Day32 - 進階篇:Macbook Air M3 本機 LoRA 微調 Qwen2.5(30 分鐘,相似度 92%)

📝 TL;DR > 本文示範如何在 M3 本機完成 LoRA 微調(訓練 30 分鐘),採用 CPU 示範確保通用性,M3 可用 MPS/MLX 加速。...

2025-10-23 ‧ 由 Hazel 分享

Day33 - 進階篇:LoRA 微調失敗 N 次才成功?踩坑血淚史

🔹 前言 在 Day32 - 進階篇:Mac M3 本機 LoRA 微調 Qwen2.5 (30 分鐘,準確率 92%) 我完成了 LoRA 微調流程,最終用...

2025-10-24 ‧ 由 Hazel 分享

Day34 - 番外篇:需要微調嗎?從 DevOps 角度評估生產部署

(文中有彩蛋 🥚 還記得 Day31 的前輩教我們要仔細評估技術選型嗎?為什麼場景裡的 SRE 會回答 $1-3K 每個月呢?) 🔹 前言 回顧 LoRA 微調...

2025-10-27 ‧ 由 Hazel 分享