iT邦幫忙

鐵人檔案

2025 iThome 鐵人賽
回列表
DevOps

初探 LLM 可觀測性:打造可持續擴展的 AI 系統 系列

這是一個從我個人觀察與實踐延伸的心得系列。最初只是想做一個 Grafana Assistant 來改善使用體驗,但隨著深入 LLM 應用,我逐漸意識到:這些系統同樣需要可觀測性,只是方式與傳統服務截然不同。過去的可觀測性 1.0 與 2.0,關注在基礎設施、微服務與指標。
而在 LLM 世界裡,核心卻是模型、提示、評測迭代與使用者互動。這意味著我們需要新的觀點與實踐來理解 LLM 可觀測性。在這個系列中,我會從理論、實務、生態與架構多個層面切入,探索如何打造可持續擴展的 AI 系統。就讓我們一起看看,傳統可觀測性與 LLM 應用的交會,能激盪出什麼樣的火花!

參賽天數 24 天 | 共 24 篇文章 | 4 人訂閱 訂閱系列文 RSS系列文
DAY 1

【Day 1】探索 LLM 可觀測性之旅

前言 2025 年可以說是 LLM 應用真正大放異彩的一年。原因在於,LLM 的使用場景早已不再侷限於像 ChatGPT 這樣的網頁聊天視窗,如今它已經延伸到...

2025-09-15 ‧ 由 mikehsu0618 分享
DAY 2

【Day 2】可觀測性與監控是什麼?

概述 多年來,IT 監控以各種方式被應用和部署。其核心目的是收集有關不只是 IT 基礎設施以及雲原生服務的硬體和軟體運作指標,確保所有關鍵功能都能順利運作,進...

2025-09-16 ‧ 由 mikehsu0618 分享
DAY 3

【Day 3】傳統可觀測性與可觀測性 2.0:只是另一個 Buzzword?

概述 天下分久必合,合久必分。軟體世界從不缺乏閃亮的新名詞,尤其在微服務與雲原生逐漸成為主流的這些年,可觀測性(Observability) 和 分佈式追蹤(...

2025-09-17 ‧ 由 mikehsu0618 分享
DAY 4

【Day 4】可觀測性2.0的明日之星 - ClickHouse

概述 在上一篇文章中,我們探討了從傳統監控邁向『可觀測性 2.0』的關鍵轉變,其核心在於能夠應對海量、高基數的遙測資料,並進行即時的探索式分析。這對後端的資料...

2025-09-18 ‧ 由 mikehsu0618 分享
DAY 5

【Day 5】認識 LLM 可觀測性:迎接挑戰的第一課

概述 在過去幾篇文章中,我們從傳統監控一路聊到「可觀測性 2.0」,並探討了為何像 ClickHouse 這樣的 OLAP 資料庫會成為新時代的基石。這一切的...

2025-09-19 ‧ 由 mikehsu0618 分享
DAY 6

【Day 6】OpenTelemetry 對於 LLM 可觀測性的重要性

概述 在上一篇文章中,我們深入探討了 LLM 應用的獨特性。它是一個機率性的、以語義為核心的「黑盒子」。我們意識到,傳統的監控手段已無法應對其在遙測、輸出、成...

2025-09-20 ‧ 由 mikehsu0618 分享
DAY 7

【Day 7】探討 Prompt Engineering:LLM 的入門磚

概述 在先前的章節中,我們已經深入探討了大型語言模型(LLM)在可觀測性領域中的定位與重要性。我們認識到:LLM 可觀測性的核心,在於如何評估其輸出的不確定性...

2025-09-21 ‧ 由 mikehsu0618 分享
DAY 8

【Day 8】探討 Prompt 的生命週期:從版控、測試到部署

概述 在上一篇文章中,我們達成了一個重要的共識:Prompt 不僅是與 AI 的對話,它更是需要用工程紀律來嚴謹對待的 API 請求。我們也意識到,由多個 P...

2025-09-22 ‧ 由 mikehsu0618 分享
DAY 9

【Day 9】LLM 應用入門:你的 LLM 應用是 Model-based 還是 Agent-based?

概述 在過去短短兩年裡,大型語言模型(LLM)應用經歷了一場驚人的蛻變。我們從驚嘆於 ChatGPT 能寫詩作對、回答知識性問題的「聊天機器人」時代,迅速躍遷...

2025-09-23 ‧ 由 mikehsu0618 分享
DAY 10

【Day 10】LLM 的「工具」思維:用 Function Calling 讓你秒懂 ReAct、MCP 與 A2A

前言 在先前關於 Google Agent 白皮書的探討中,我們觸及了一個核心觀點:一個大型語言模型(LLM)之所以能被稱為「Agent」(代理人),其關鍵區...

2025-09-24 ‧ 由 mikehsu0618 分享