這是一個從我個人觀察與實踐延伸的心得系列。最初只是想做一個 Grafana Assistant 來改善使用體驗,但隨著深入 LLM 應用,我逐漸意識到:這些系統同樣需要可觀測性,只是方式與傳統服務截然不同。過去的可觀測性 1.0 與 2.0,關注在基礎設施、微服務與指標。
而在 LLM 世界裡,核心卻是模型、提示、評測迭代與使用者互動。這意味著我們需要新的觀點與實踐來理解 LLM 可觀測性。在這個系列中,我會從理論、實務、生態與架構多個層面切入,探索如何打造可持續擴展的 AI 系統。就讓我們一起看看,傳統可觀測性與 LLM 應用的交會,能激盪出什麼樣的火花!
前言 許多開發者初次接觸 AI Agent,會被 ReAct (Reasoning and Acting) 框架的簡潔與強大所吸引,並迅速用幾十行程式碼實現一...
概述 在上一篇文張中,我們透過 Google Agent 白皮書確立了一個核心共識:AI 應用的未來屬於能夠感知、思考、採取行動的智能代理(Agent)。而一...
概述 在可觀測性的世界裡,資料可視化與使用者介面,始終是我們從龐大數據中提煉洞見的最後一哩路。這正是為什麼像 Grafana 這樣的可視化平台,即便歷經多次技...
概述 在當今資訊爆炸的時代,很多複雜問題都需要我們花費大量時間在網路上搜尋、閱讀和整理資訊。如果能有一個 AI 代理幫我們自動完成這些深度研究任務,將大量資料...
一個響亮的聲音正在科技圈迴盪:「LLM Agent 時代來臨,人類不再需要學習軟體工程了!」這個論點極具誘惑力:當一個全能的 AI 助理可以根據你的自然語言需...
前言 在建構基於大型語言模型(LLM)的智能助手時,系統需要處理從簡單問答到複雜的 Agent 工作流(如多步驟推理、工具調用和跨代理協作)等不同任務。隨著系...
當前,人工智慧的發展已經進入一個新紀元。從 OpenAI、Google 到 Anthropic,各大巨頭皆有能力開發出執行深度研究、編寫程式碼 (IDE) 或...
前言 大型語言模型(LLM)的浪潮正以前所未有的速度席捲各行各業。從 OpenAI 的 GPT 系列、Anthropic 的 Claude,到 Google...
前言 在 LLM 應用從小規模 PoC 走向生產環境的過程中,AI Gateway 不再只是簡單的 API 轉發器,它已經演變為關鍵的「AI 控制平面」。 選...
前言 大型語言模型(LLM)的驚人能力正在改變各行各業,但伴隨而來的安全風險也日益凸顯。從惡意使用者透過各種「越獄」(Jailbreaking)手段誘導模型產...