九月二日,coding agent 幫我寫的爬蟲印不出中文。後來修好了,但有一件事我查不出來:它當初為什麼那樣寫。檔案的修改時間只說這個檔被動過,聊天記錄不在專案裡,而我替它裝的稽核 hook,跑了三天一筆都沒收到。
我們團隊每天用它寫程式,沒有人在看它留下的紀錄。所以,這 30 天我拿兩個 agent 來測。一個閉源,我只能翻硬碟找它留了什麼。一個開源,我可以改它的程式碼,把缺的那幾欄自己補上。
希望大家讀完我30天針對AI Security 的探討內容以及我的實踐經驗後,能夠有所收穫!!!
每一篇最後都會有一個你今天能在自己專案上跑的動作。
嗨,我是查理。 在接下來 30 天,我想帶大家看看每天都在發生的事:AI 資安(AI Security)。在開始今天的內容前,先上圖,讓大家快速理解我要分享的內...
嗨,我是查理。 昨天我說要查那支爬蟲的修改時間。但 hook 從 9 月 14 日才開始記,修改發生在 9 月 2 日,這條路一開始就斷了。於是我先驗證一件更基...
嗨,大家好。 先講一個不用寫程式也能懂的情境。 班上有人改了你交出去的作業,你想查是誰動的。保全說:「有,下午兩點有人開過你的櫃子。」 你追問:「誰?拿了什麼?...
嗨,大家好。 測試全綠了。問題是:AI 到底是修好了程式,還是改了測試假裝修好? 這兩件事在紀錄裡常常長得一樣——工具名都叫「寫檔」。光看工具名,分不出哪一筆該...
昨天結尾我留了一題:檔案被改壞、又被改回去,現在看起來完全正常,中間那一版還查不查得到?話不多說,老樣子,先上圖 : 今天我去查了。答案跟我原本想的相反。 查得...
昨天結尾我留了兩個承諾:把軌跡的欄位表定下來,還有給你 Jev 的數字,包含它答錯的那幾題。 兩個都做了。欄位表定出來了,但結論跟我原本想的不一樣——我以為模型...
在 Day 6 中,我們定出了欄位的三層境界,定下了不容妥協的資料衛生紀律,並看到了模型(Jev)輸出的極端雙峰分佈。今天,我們直接進入第一組實驗——憑證偵測(...
Day 7 的結果是:在門檻 0.50 下,模型(Jev)抓到了全部 15 筆憑證外洩,補上 Regex 漏掉的 6 筆。 今天要拆解一個在資安與稽核領域很常見...
在 Day 8 中,我們拆解了門檻的直覺陷阱,並釐清了機率作為「Routing 訊號」而非「證據」的本質。今天,我們進入第二組實驗——改動邏輯偵測(n=64)。...