iT邦幫忙

agentdojo相關文章
共有 6 則文章
鐵人賽 AI Security DAY 16

技術 DAY16|攔下訊號後該如何做設計?

昨天的收集點只看不動,今天把分數接進政策檢查,嘗試讓權限會隨執行狀態更改。 收回權限能做什麼 顧名思義,我們只能拿掉權限,不能給出權限,原本的政策引擎照樣先跑,...

鐵人賽 AI Security DAY 15

技術 DAY15|將CaMeL訊號攔截下來

前言 昨天講到CaMeL的每個檢查都是無狀態的,那接下來先在直譯器裡插一個訊號收集點,讓執行裡發生過的可疑事件被累積起來,在動態判斷上這是第一步,今天先以只收集...

鐵人賽 AI Security DAY 14

技術 DAY14|原來CaMeL沒被打穿??

一、先把兩層的職責分清楚 結果原來昨天測完發現CaMeL是兩層機制疊起來的,原本想說CaMeL就是用capabilities來防止prompt injectio...

鐵人賽 AI Security DAY 13

技術 DAY13|CaMeL實測失敗的資料外洩案例

前言 昨天我們換成gemini-3.5-flash-lite搞定了API額度問題,並在銀行系統(banking)看到CaMeL把注入攻擊擋下。但其實前面討論時就...

鐵人賽 AI Security DAY 12

技術 DAY12|CaMeL實戰落地篇:解決API額度問題與驗證提示詞注入防禦

昨天把CaMeL跑起來之後replan迴圈失控把20次免費API額度全部燒光,今天來想辦法解決然後繼續做吧。 原本以為免費API根本撐不住benchmark,甚...

鐵人賽 AI Security DAY 9

技術 Day 9|鎖定CaMeL任務失敗案例分析

CaMeL自己怎麼定義這類失敗 CaMeL論文把這類失敗定名為「Data requires action」,採取什麼行動,取決於還沒讀到的資料。論文舉的官方例子...