iT邦幫忙

鐵人檔案

2026 iThome 鐵人賽
回列表
AI Security

Microsoft Foundry 的 AI Agent 攻防實戰:建立高資安與可治理的 Agent 系統 系列

本系列會先用 Microsoft Foundry 做一個刻意不安全的 Agent,從 Prompt Injection、MCP 供應鏈、工具越權、資料外洩,攻到 Multi-agent delegation。每天先重現副作用,再依 Threat、Attack、Fix、Test、Residual Risk,補回身分、授權、資料邊界、人工核准、監控與事件應變等。帶領大家一步步理解現今 Agentic AI 的資安研究。

鐵人鍊成 | 共 31 篇文章 | 2 人訂閱 訂閱系列文 RSS系列文
DAY 21

Day 21|Microsoft Foundry 的 AI Agent 攻防實戰:Prompt Shields 沒吹哨,不代表比賽自動判安全

前面的本機流程已經有身分、物件授權與網路政策。今天把 Prompt Shields 的訊號接進來,觀察偵測結果與 PEP 如何一起決定操作。 Alice 提出這...

DAY 22

Day 22|Microsoft Foundry 的 AI Agent 攻防實戰:Guardrail 也會有盲點

昨天把 Prompt Shields 當作 deny-only 訊號加入授權流程。今天再把內容風險、工具覆蓋範圍與 application PEP 放在一起,檢...

DAY 23

Day 23|Microsoft Foundry 的 AI Agent 攻防實戰:人類沒看清楚就同意了

高風險操作可以先停下來,讓人確認。但要讓核准有效,系統還得確認:Bob 看見、同意與 executor 最後執行的,是不是同一筆交易? 今天沿用工程司的費用核准...

DAY 24

Day 24|Microsoft Foundry 的 AI Agent 攻防實戰:Agent 做完壞事再道歉

今天把固定案例交給 PyRIT 編排,再讓 scorer 讀取真正的工具結果。先看 D24-A01 的使用者要求,以及 runtime 最後的回覆: 我今天代...

DAY 25

Day 25|Microsoft Foundry 的 AI Agent 攻防實戰:一個 Safe,各自表示

昨天的五筆 PyRIT 結果已保存 Receipt 與副作用。今天讀取同一份 campaign report,試著把 evaluator label 接進報表。...

DAY 26

Day 26|Microsoft Foundry 的 AI Agent 攻防實戰:工具擋住了,Secret 卻儲存在 Trace 裡

昨天我們用評測結果與工具紀錄,檢查 Agent 有沒有造成不該發生的副作用。今天接著看另一份資料:執行過程留下的 trace。 Trace 能幫我們找到請求卡在...

DAY 27

Day 27|Microsoft Foundry 的 AI Agent 攻防實戰:告警響了,火還沒滅

昨天處理 trace 的內容與讀取邊界。今天使用決策事件觸發告警,再把它接到撤權、文件隔離與 kill switch。 處置也可能被重送。同一個 webhook...

DAY 28

Day 28|Microsoft Foundry 的 AI Agent 攻防實戰:一份毒文件,為什麼會長成二十四次呼叫

Day 27 處理了停止工具與隔離文件。今天把一次月底對帳請求交給多個 Agent,看看 fan-out、retry 與 fallback 會如何增加工作量。...

DAY 29

Day 29|Microsoft Foundry 的 AI Agent 攻防實戰:Agent 說是工程司派來的,不能當簽章

Day 28 限制了 fan-out、fallback 與 retry,現在接著處理路由裡的權限。假設 planner 送來 subject="ali...

DAY 30

Day 30|Microsoft Foundry 的 AI Agent 攻防實戰:三十個綠燈超完美,嗎?

最後一天,我們把前面的案例放進同一個發布檢查流程。先分開兩組資料:Day 01~30 的驗收測試用來檢查各日程式;計算指標的固定資料集則有 24 筆案例,涵蓋...

大魔術熊貓工程師的收藏
大魔術熊貓工程師的追蹤
大魔術熊貓工程師的Like
大魔術熊貓工程師的紀錄