iT邦幫忙

鐵人檔案

2026 iThome 鐵人賽
回列表
AI Security

CaMeL 動態重擬定:讓 Agent 邊讀邊決定 系列

Agent 呼叫工具(寄信、讀檔、上網)時,讀進外部可竄改內容可能被挾持執行惡意行為,CaMeL 用雙模型分工與 capability 標記擋下直接劫持,但代價是計畫一旦定案就不能因讀到的內容而調整,任務完成率因此下降。本系列以 CaMeL 為起點,設計並實作一個「受限訊號+判讀關卡」機制,被隔離模型讀完不受信任資料後,只能送出型別受限、可稽核的訊號,由判讀關卡決定放不放行,讓計畫能有限度調整,同時不動搖 CaMeL 原本的安全保證,我們將在30 天內完成一個簡單架構的 demo,並在 AgentDojo 上驗證任務完成率與安全性的變化。

參賽天數 22 天 | 共 22 篇文章 | 2 人訂閱 訂閱系列文 RSS系列文 團隊四點還吃牛肉man
DAY 21

DAY21|拿對照數字,重新規劃權限層級

前言 昨天把任務挑對了,今天終於跑出三格對照。數字指出結構性的問題,不是調參數能解的,所以今天後半段重新設計了權限層級。 三格數字 user_task_32,跑...

2026-09-14 ‧ 由 jerry940917 分享
DAY 22

DAY22|新的權限格補上靜態政策的洞

前言 昨天重新設計權限層級,把「乾淨時比靜態政策寬」形狀做出來,今天驗證結果讓昨天賠掉的utility全部補回來了,而且找到一個靜態政策真的會漏、新設計擋得住的...

2026-09-15 ‧ 由 jerry940917 分享