前言 昨天重新設計權限層級，把「乾淨時比靜態政策寬」形狀做出來，今天驗證結果讓昨天賠掉的utility全部補回來了，而且找到一個靜態政策真的會漏、新設計擋得住的...
前言 昨天把任務挑對了，今天終於跑出三格對照。數字指出結構性的問題，不是調參數能解的，所以今天後半段重新設計了權限層級。 三格數字 user_task_32，跑...
前言 Day15到Day18做的東西全部只在假模型的demo上驗證過，今天嘗試跑banking，看是否能解決DAY14 utility 判斷的問題，今天這篇在做...
前言 昨天把被擋之後的重擬接起來了，但只管次數不管內容，模型換一條路只要次數還夠就照樣放行。今天先分辨模型到底是換方法還是繞過，然後加上兩個衡量數字，確認功能有...
前言 昨天列了四項要做的事，今天做回傳給模型的內容，以及重擬的額度怎麼算，想辦法解決擋得住攻擊但任務跟著死的情境。 回傳什麼給模型 CaMeL原本遇到錯誤是把整...
昨天的收集點只看不動，今天把分數接進政策檢查，嘗試讓權限會隨執行狀態更改。 收回權限能做什麼 顧名思義，我們只能拿掉權限，不能給出權限，原本的政策引擎照樣先跑，...
前言 昨天講到CaMeL的每個檢查都是無狀態的，那接下來先在直譯器裡插一個訊號收集點，讓執行裡發生過的可疑事件被累積起來，在動態判斷上這是第一步，今天先以只收集...
一、先把兩層的職責分清楚 結果原來昨天測完發現CaMeL是兩層機制疊起來的，原本想說CaMeL就是用capabilities來防止prompt injectio...
前言 昨天我們換成gemini-3.5-flash-lite搞定了API額度問題，並在銀行系統（banking）看到CaMeL把注入攻擊擋下。但其實前面討論時就...
上一篇我們把 Agent 拆成模型、工具、記憶、設定檔與自主迴圈，但當工具越接越多，就碰到一個工程問題：不同的 AI 應用，能不能用一種共同語言去連這些東西？...
這個系列好難啊，是個好新的主題，感覺光是整理資料就有夠多了，希望接下來的實作來得及XD 今天要開始設計解法，看被Q-LLM讀完資料之後，能不能送出一個「受限的訊...
CaMeL自己怎麼定義這類失敗 CaMeL論文把這類失敗定名為「Data requires action」，採取什麼行動，取決於還沒讀到的資料。論文舉的官方例子...
一篇從高處批評的論文 在Intent-to-Execution Integrity這篇中主張安全漏洞的本質是執行結果沒有保留住使用者的意圖，運用語意保留（sem...
在前面幾天我們整理了CaMeL是管資料流，而ControlValve是管控制流，今天將進入研究CXI（Context-to-Execution Integrit...
昨天判斷「結構化的窄判斷」跟「開放式的alignment判斷」風險本質不同，今天用論文裡的Slack案例，把這個判斷放到具體攻擊上檢驗一遍。 攻擊長什麼樣子 說...
昨天把CFI這個詞的出處講清楚了。今天正式進ControlValve的原文，看它具體怎麼把「控制流圖」這個抽象概念，變成一套真的能跑在多agent系統上的機制。...
PS:感覺前幾天好嚴肅，和朋友討論之後希望接下來能帶向較輕快的節奏～ 接下來看看控制流的說法，它借自傳統軟體資安裡的Control-Flow Integrity...
昨天留了兩個疑點：P-LLM規劃階段本質上看不到資料，跟任務完成率掉下來，是不是同一件事；還有檢查時機是不是太晚，今天把「代價」這件事攤開來講清楚，探討代價到底...
今天延伸昨天所講的，分別說明CaMeL如何把「決定做什麼」和「讀外部資料」拆給兩個分工的模型，看它實際上是怎麼運作的，這也是接下來要加以修改的部分，機制細節先了...
jerry940917
Vivian
iThome鐵人賽
看影片追技術