iT邦幫忙

鐵人檔案

2026 iThome 鐵人賽
回列表
AI Security

一個 Agent 我查不動,一個我改得動:內部威脅偵測的 30 天 系列

九月二日,coding agent 幫我寫的爬蟲印不出中文。後來修好了,但有一件事我查不出來:它當初為什麼那樣寫。檔案的修改時間只說這個檔被動過,聊天記錄不在專案裡,而我替它裝的稽核 hook,跑了三天一筆都沒收到。

我們團隊每天用它寫程式,沒有人在看它留下的紀錄。所以,這 30 天我拿兩個 agent 來測。一個閉源,我只能翻硬碟找它留了什麼。一個開源,我可以改它的程式碼,把缺的那幾欄自己補上。

希望大家讀完我30天針對AI Security 的探討內容以及我的實踐經驗後,能夠有所收穫!!!
每一篇最後都會有一個你今天能在自己專案上跑的動作。

參賽天數 9 天 | 共 9 篇文章 | 0 人訂閱 訂閱系列文 RSS系列文
DAY 1

Agent 在我的專案裡工作三天,我一件都查不出來

嗨,我是查理。 在接下來 30 天,我想帶大家看看每天都在發生的事:AI 資安(AI Security)。在開始今天的內容前,先上圖,讓大家快速理解我要分享的內...

2026-09-15 ‧ 由 vidici 分享
DAY 2

我設陷阱要 AI 作弊,它沒上鉤。倒是我的警報器,從頭到尾沒響過

嗨,我是查理。 昨天我說要查那支爬蟲的修改時間。但 hook 從 9 月 14 日才開始記,修改發生在 9 月 2 日,這條路一開始就斷了。於是我先驗證一件更基...

2026-09-16 ‧ 由 vidici 分享
DAY 3

OpenTelemetry 有 Agent 的欄位,但你查案要的那幾欄預設不記

嗨,大家好。 先講一個不用寫程式也能懂的情境。 班上有人改了你交出去的作業,你想查是誰動的。保全說:「有,下午兩點有人開過你的櫃子。」 你追問:「誰?拿了什麼?...

2026-09-17 ‧ 由 vidici 分享
DAY 4

它刪的是測試還是垃圾檔?同一個 write_file,log 裡長得一模一樣

嗨,大家好。 測試全綠了。問題是:AI 到底是修好了程式,還是改了測試假裝修好? 這兩件事在紀錄裡常常長得一樣——工具名都叫「寫檔」。光看工具名,分不出哪一筆該...

2026-09-18 ‧ 由 vidici 分享
DAY 5

我把被改回去的那五版全找回來了:從寫檔紀錄重建版本鏈

昨天結尾我留了一題:檔案被改壞、又被改回去,現在看起來完全正常,中間那一版還查不查得到?話不多說,老樣子,先上圖 : 今天我去查了。答案跟我原本想的相反。 查得...

2026-09-19 ‧ 由 vidici 分享
DAY 6

欄位的三層境界,與Jev 模型到底能補上哪一欄

昨天結尾我留了兩個承諾:把軌跡的欄位表定下來,還有給你 Jev 的數字,包含它答錯的那幾題。 兩個都做了。欄位表定出來了,但結論跟我原本想的不一樣——我以為模型...

2026-09-20 ‧ 由 vidici 分享
DAY 7

憑證偵測實驗:模型抓到了 Regex 漏掉的六筆

在 Day 6 中,我們定出了欄位的三層境界,定下了不容妥協的資料衛生紀律,並看到了模型(Jev)輸出的極端雙峰分佈。今天,我們直接進入第一組實驗——憑證偵測(...

2026-09-21 ‧ 由 vidici 分享
DAY 8

門檻不是越高越嚴謹:0.90 如何讓模型退化回 Regex

Day 7 的結果是:在門檻 0.50 下,模型(Jev)抓到了全部 15 筆憑證外洩,補上 Regex 漏掉的 6 筆。 今天要拆解一個在資安與稽核領域很常見...

2026-09-22 ‧ 由 vidici 分享
DAY 9

當基準只是代理指標:模型「錯」了六題,但我說不出它錯在哪

在 Day 8 中,我們拆解了門檻的直覺陷阱,並釐清了機率作為「Routing 訊號」而非「證據」的本質。今天,我們進入第二組實驗——改動邏輯偵測(n=64)。...

2026-09-23 ‧ 由 vidici 分享