鐵人檔案
這是一個從我個人觀察與實踐延伸的心得系列。最初只是想做一個 Grafana Assistant 來改善使用體驗，但隨著深入 LLM 應用，我逐漸意識到：這些系統同樣需要可觀測性，只是方式與傳統服務截然不同。過去的可觀測性 1.0 與 2.0，關注在基礎設施、微服務與指標。
而在 LLM 世界裡，核心卻是模型、提示、評測迭代與使用者互動。這意味著我們需要新的觀點與實踐來理解 LLM 可觀測性。在這個系列中，我會從理論、實務、生態與架構多個層面切入，探索如何打造可持續擴展的 AI 系統。就讓我們一起看看，傳統可觀測性與 LLM 應用的交會，能激盪出什麼樣的火花！
前言 當企業擁抱大型語言模型（LLM）的強大能力時，隨之而來的是一系列「甜蜜的煩惱」。開發團隊可能在不同專案中使用了來自 OpenAI, Anthropic,...
前言 在 LLM 應用蓬勃發展的時代，將大型語言模型（LLM）推向生產環境往往只是旅程的開始，而不是結束。想像一下，一個聊天機器人應用在內部測試中表現完美，但...
前言 在大型語言模型（LLM）應用席捲全球的今天，如何有效監控並觀測這些「黑盒子」的行為，已成為維運團隊最迫切的挑戰。許多團隊早已建立了成熟的 Grafana...
前言 在上一篇文章中，我們探討了 LLM 可觀測性平台的重要性。今天，我們將延伸這個主題，深入探討一個與其緊密相關且至關重要的領域：Prompt Manage...
