iT邦幫忙

鐵人檔案

2025 iThome 鐵人賽
回列表
DevOps

初探 LLM 可觀測性:打造可持續擴展的 AI 系統 系列

這是一個從我個人觀察與實踐延伸的心得系列。最初只是想做一個 Grafana Assistant 來改善使用體驗,但隨著深入 LLM 應用,我逐漸意識到:這些系統同樣需要可觀測性,只是方式與傳統服務截然不同。過去的可觀測性 1.0 與 2.0,關注在基礎設施、微服務與指標。
而在 LLM 世界裡,核心卻是模型、提示、評測迭代與使用者互動。這意味著我們需要新的觀點與實踐來理解 LLM 可觀測性。在這個系列中,我會從理論、實務、生態與架構多個層面切入,探索如何打造可持續擴展的 AI 系統。就讓我們一起看看,傳統可觀測性與 LLM 應用的交會,能激盪出什麼樣的火花!

參賽天數 24 天 | 共 24 篇文章 | 4 人訂閱 訂閱系列文 RSS系列文
DAY 11

【Day 11】從玩具到工具:了解生產級 LLM Agent 下的冰山

前言 許多開發者初次接觸 AI Agent,會被 ReAct (Reasoning and Acting) 框架的簡潔與強大所吸引,並迅速用幾十行程式碼實現一...

2025-09-25 ‧ 由 mikehsu0618 分享
DAY 12

【Day 12】打造企業級 AI Agent:認識 Agent 框架與選用指南

概述 在上一篇文張中,我們透過 Google Agent 白皮書確立了一個核心共識:AI 應用的未來屬於能夠感知、思考、採取行動的智能代理(Agent)。而一...

2025-09-26 ‧ 由 mikehsu0618 分享
DAY 13

【Day 13】不再需要 Dashboard?LLM 驅動的可觀測性介面

概述 在可觀測性的世界裡,資料可視化與使用者介面,始終是我們從龐大數據中提煉洞見的最後一哩路。這正是為什麼像 Grafana 這樣的可視化平台,即便歷經多次技...

2025-09-27 ‧ 由 mikehsu0618 分享
DAY 14

【Day 14】探討 LangGraph 的 Deep Research Agent 架構

概述 在當今資訊爆炸的時代,很多複雜問題都需要我們花費大量時間在網路上搜尋、閱讀和整理資訊。如果能有一個 AI 代理幫我們自動完成這些深度研究任務,將大量資料...

2025-09-28 ‧ 由 mikehsu0618 分享
DAY 15

【Day 15】大規模 AI Agent 應用的維運與架構設計挑戰

一個響亮的聲音正在科技圈迴盪:「LLM Agent 時代來臨,人類不再需要學習軟體工程了!」這個論點極具誘惑力:當一個全能的 AI 助理可以根據你的自然語言需...

2025-09-29 ‧ 由 mikehsu0618 分享
DAY 16

【Day 16】LLM 應用的交互模式:同步、非同步與串流架構解析

前言 在建構基於大型語言模型(LLM)的智能助手時,系統需要處理從簡單問答到複雜的 Agent 工作流(如多步驟推理、工具調用和跨代理協作)等不同任務。隨著系...

2025-09-30 ‧ 由 mikehsu0618 分享
DAY 17

【Day 17】終結 LLM 應用混沌:AG-UI 協議如何統一通訊介面

當前,人工智慧的發展已經進入一個新紀元。從 OpenAI、Google 到 Anthropic,各大巨頭皆有能力開發出執行深度研究、編寫程式碼 (IDE) 或...

2025-10-01 ‧ 由 mikehsu0618 分享
DAY 18

【Day 18】探討 AI Gateway 架構:LLM 基礎設施的守護神

前言 大型語言模型(LLM)的浪潮正以前所未有的速度席捲各行各業。從 OpenAI 的 GPT 系列、Anthropic 的 Claude,到 Google...

2025-10-02 ‧ 由 mikehsu0618 分享
DAY 19

【Day 19】AI Gateway 深度選型:從流量代理到智能控制平面

前言 在 LLM 應用從小規模 PoC 走向生產環境的過程中,AI Gateway 不再只是簡單的 API 轉發器,它已經演變為關鍵的「AI 控制平面」。 選...

2025-10-03 ‧ 由 mikehsu0618 分享
DAY 20

【Day 20】打造安全可靠的 AI 應用:深入解析 LLM Guardrail 與 AI Gateway

前言 大型語言模型(LLM)的驚人能力正在改變各行各業,但伴隨而來的安全風險也日益凸顯。從惡意使用者透過各種「越獄」(Jailbreaking)手段誘導模型產...

2025-10-04 ‧ 由 mikehsu0618 分享