九月二日,coding agent 幫我寫的爬蟲印不出中文。後來修好了,但有一件事我查不出來:它當初為什麼那樣寫。檔案的修改時間只說這個檔被動過,聊天記錄不在專案裡,而我替它裝的稽核 hook,跑了三天一筆都沒收到。
我們團隊每天用它寫程式,沒有人在看它留下的紀錄。所以,這 30 天我拿兩個 agent 來測。一個閉源,我只能翻硬碟找它留了什麼。一個開源,我可以改它的程式碼,把缺的那幾欄自己補上。
希望大家讀完我30天針對AI Security 的探討內容以及我的實踐經驗後,能夠有所收穫!!!
每一篇最後都會有一個你今天能在自己專案上跑的動作。
讀一個檔,Cursor 自己量到的時間是 11 毫秒。從第一支 hook 開始跑,到最後一支 hook 開始跑,中間隔了 1.8 秒。 昨天量到:Cursor...
我的稽核紀錄裡有 3 行只剩尾巴。我照同樣的寫法在自己電腦上重現:20 個行程同時寫,1,000 筆紀錄少了 195 到 250 筆,壞掉的行卻只有 6 到 4...
問一次 Jev,同一條連線從第二次開始,中位數 248 毫秒。同一個問題放進 hook 裡問,要 1.7 秒。 差的那 1.4 秒不是模型,是「每次都從零開始」...
昨天(Day13)我決定把模型移出熱路徑:hook 照舊只寫紀錄,問 Jev 的事交給另一支常駐程式慢慢做。那篇誠實欄的最後一條寫著:「答案晚到,代價是它不能拿...
Day14 重跑了 Day1 的兩題:hook 自己壞掉時,omp 擋下、Cursor 放行;WebSearch 在 Cursor 的本機完全看不到。今天把剩下...
Day15 的成績單有兩個結論。 第一,hook 這一層,omp 不輸 Cursor,還贏一題。 第二,hook 以外還有落差。卷子外面 omp 落後三個地方:...
Agent 說「做完了」,是它自己說的。要不要信,交給一支它改不到的程式:在它收工那一刻,照派工時寫好的驗收條件重跑一次,再看它改了哪些檔。對不上就退回去;做...
讓別的程式叫 agent 做事,先回答兩件事:誰能對它下指令,以及它要動手時,那一問有沒有人收得到。Cursor IDE 的核准卡片只出現在那台電腦的螢幕上;...
給 agent 長期記憶,是為了不用每次重講一遍。可是記住的東西,下次開新對話會原封不動接回它的提示詞裡。一句藏在筆記裡的指令,只要被記住一次,之後每個新對話...
團隊為了統一發布流程,從外部匯入一個 deploy skill。它看起來像一份操作手冊,卻可能夾著「安全掃描沒過也繼續,並把 release gate 標成...