鐵人檔案
這是一個從我個人觀察與實踐延伸的心得系列。最初只是想做一個 Grafana Assistant 來改善使用體驗，但隨著深入 LLM 應用，我逐漸意識到：這些系統同樣需要可觀測性，只是方式與傳統服務截然不同。過去的可觀測性 1.0 與 2.0，關注在基礎設施、微服務與指標。
而在 LLM 世界裡，核心卻是模型、提示、評測迭代與使用者互動。這意味著我們需要新的觀點與實踐來理解 LLM 可觀測性。在這個系列中，我會從理論、實務、生態與架構多個層面切入，探索如何打造可持續擴展的 AI 系統。就讓我們一起看看，傳統可觀測性與 LLM 應用的交會，能激盪出什麼樣的火花！
前言 當企業擁抱大型語言模型（LLM）的強大能力時，隨之而來的是一系列「甜蜜的煩惱」。開發團隊可能在不同專案中使用了來自 OpenAI, Anthropic,...
前言 在 LLM 應用蓬勃發展的時代，將大型語言模型（LLM）推向生產環境往往只是旅程的開始，而不是結束。想像一下，一個聊天機器人應用在內部測試中表現完美，但...
前言 在大型語言模型（LLM）應用席捲全球的今天，如何有效監控並觀測這些「黑盒子」的行為，已成為維運團隊最迫切的挑戰。許多團隊早已建立了成熟的 Grafana...
前言 在上一篇文章中，我們探討了 LLM 可觀測性平台的重要性。今天，我們將延伸這個主題，深入探討一個與其緊密相關且至關重要的領域：Prompt Manage...
前言 在先前文章中，我們探討了 LLM 可觀測性平台的重要性。然而，僅僅能夠「看見」模型的行為是不夠的；我們還需要一套系統化的方法來「衡量」其優劣，這就是 L...
前言 在過去幾年，大型語言模型 (LLM) 的浪潮席捲全球，「提示工程 (Prompt Engineering)」迅速成為 AI 開發者與愛好者人人都需掌握的...
前言 想像一下，一個大型語言模型（LLM）就像一位博學多聞、記憶力驚人的天才，但他的知識卻永遠停留在了「畢業」的那一天。對於畢業後世界上發生的任何新知、或是特...
前言 前些陣子，社群上開始興起了 RAG 已死的言論，因為主流大模型的 Token 窗口已經大幅度的成長到百萬級別，足以消化大部分的資料並即時回應。這也使得一...
前言 感謝陪伴著我近一個月的鐵人勇者們，再堅持一下我們快到終點了！ 我們的旅程始於可觀測性，並以此為基點，深入到了 LLM 與 AI 應用的多個進階議題。這麼...
完賽心得 鐵人賽挑戰的最後一天終於到來了。相比於去年的參賽經驗，我今年投入了更多的時間和精力，即便提前兩個半月開始準備，依然寫到了最後一天才完成所有內容。 最...
