iT邦幫忙

2026 iThome 鐵人賽

DAY 22
0
Security

《30 天用 Google Cloud Observability 打造 AI Agent 全方位監控》系列 第 22 篇

Day 22|行為異常告警:偵測 Agent 偏離正常行為模式

  • 分享至 

  • xImage
  •  

比成本更難的:怎麼知道 Agent「怪怪的」

成本異常相對好偵測,因為它是明確的數值。行為異常難得多——Agent 沒有報錯、任務也「完成」了,但它做事的方式跟平常不一樣。這篇處理怎麼把「怪怪的」變成可偵測的訊號。

四類可偵測的行為訊號

訊號一:工具選擇分布偏移。 Day 20 提過工具選擇分布這個指標。如果原本 80% 的任務靠工具 A 解決,某天突然變成大量呼叫工具 B,即使任務都「成功」了,這個變化本身就值得追查——可能是上游資料變了、可能是 Prompt 被改動、也可能是模型版本更新導致判斷傾向改變。

訊號二:決策步數分布異常。 平均步數從 3 步變成 7 步,代表 Agent 需要繞更多路才能完成同樣的事。

訊號三:finish_reason 分布變化。 Day 14 提過 gen_ai.response.finish_reasons 這個屬性。如果非正常結束(被截斷、觸發過濾)的比例上升,是很直接的訊號。

訊號四:人工介入率變化。 Day 20 提過,這通常是使用者體感最直接的指標。

偵測方法:跟自己的過去比

行為異常偵測的核心邏輯是跟基準線比較,而非設定絕對閾值。因為「什麼是正常」高度依賴具體場景——某個 Agent 的正常步數是 3,另一個可能是 8。

實務做法是建立滾動基準線:用過去 N 天(例如 7 天或 14 天)的資料計算各指標的正常分布,當前值偏離超過一定程度就告警。這比固定閾值更能適應業務的自然變化。

一個重要的提醒:異常不等於故障

行為異常告警的目的是引發調查,不是宣告故障。工具分布改變可能是因為業務調整、可能是因為使用者問題類型變了——這些都是合理的變化。告警的價值在於讓團隊「知道有事情變了」,而不是每次告警都代表出問題。

這也意味著告警的接收方式要設計得當:這類告警不適合設成半夜叫醒工程師的等級,比較適合彙整成每日摘要,或是推送到團隊的討論頻道供大家判讀。

跟資安的交集

如果你也在追團隊的 Agentic AI 攻防系列,會發現這裡跟那邊有直接的交集:行為異常偵測同時也是資安偵測的一環。攻擊者透過 Prompt Injection 或 Tool Abuse 誘導 Agent 做出越界行為時,往往就會表現為工具選擇分布的異常。Day 28 會專門處理這個交集。

這篇的檢查清單

  • [ ] 是否已建立滾動基準線,而非用固定閾值判斷行為異常?
  • [ ] 行為異常告警的接收方式是否設計得當,避免造成告警疲勞?
  • [ ] 是否已意識到行為異常偵測同時具備資安價值?


💡 關於作者 我是 Fngi,專注在 AI 安全與雲端資安領域。如果這篇對你有幫助,歡迎追蹤 Instagram @aid3fend,我在那裡分享更多 AI 資安的實務筆記與趨勢觀察。


上一篇
Day 21|成本異常告警:Token 用量與 API 呼叫成本的即時監控
系列文
《30 天用 Google Cloud Observability 打造 AI Agent 全方位監控》 共 22 篇
圖片
  熱門推薦
圖片
{{ item.channelVendor }} | {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言