30 天前，這個專案只有一個目標：讓 AI 幫忙查 SOP，必要時建立一張 mock 工單。功能不複雜，但只要 Agent 能讀文件、選工具、保存記憶或把任務交...
Day 28 證明了一件事：最終回答不能代表整個 Agent run。既然真正的證據在執行軌跡裡，我就能再問更實際的問題：這次到底呼叫幾次模型、花多少 Toke...
Day 27 的六個安全案例都通過後，我還留著一個沒有真正拆開的問題：如果 Agent 最後回答「我不能執行」，這次執行就算安全嗎？ 不一定。 Agent 的回...
前 26 天，我陸續加上 Input Rail、retrieval boundary、文件 ACL、memory write policy、handoff sc...
Day 25 的確認流程只有兩個畫面狀態：等待核准，或按下按鈕後執行。但真正的系統不會永遠停在瀏覽器頁面上。核准者可能關掉分頁、正在上課，或看到通知後忘了處理。...
Day 24 的 handoff 最後停在 approval_gate pending。帳號 Agent 已經提出操作，但 handoff 只是把工作交給另一個...
Day 23 我讓兩個 worker 同時分析不同問題。它們都只有唯讀 prompt，沒有危險工具，所以責任邊界還算單純。 真正麻煩的是 handoff。一個...
Day 22 處理完 memory poisoning 後，我準備把 Helpdesk Agent 拆成多個角色。直覺上，一個查 VPN、另一個查 Wi-Fi，...
Day 11 的惡意 SOP 只要在 retrieval boundary 被隔離，這次 run 就不會照著它操作。但如果 Agent 把那段內容整理成「使用者...
Day 20 我先把 working memory、long-term memory 與 RAG 知識庫拆開，也拒絕了測試備用碼和未確認的永久偏好。可是「沒有亂...
做到 Day 19，Agent 已經能呼叫真實模型，也有輸入、檢索、工具和後端授權邊界。接下來最容易讓資料越積越多的功能，是記憶。 記住「這台測試筆電是 Win...
前面幾天，我陸續替 Agent 加上 Input、Retrieval 和 Tool Output 檢查。做到這裡很容易產生一個錯覺：既然請求已經通過 Guard...
「忽略前面指令」不會真的改寫 system prompt。麻煩的是，模型可能把它當成更值得服從的新要求，接著改變回答，甚至選到不該碰的工具。 今天我把檢查位置移...
Day 16 檢查的是模型送往工具的參數。工具跑完之後，資料還會反方向流回 Agent：tool result 進入 context，模型看完再決定下一步。 這...
Day 15 我把不需要的外寄工具移出 Helpdesk Agent。不過未來若真的有一條受限流程，要把 SOP 摘要交給支援信箱，事情不會只是把 share_...
Day 14 處理的是哪些文件能進入 RAG。今天輪到另一份同樣會塞進模型 context 的東西：工具定義。 我先故意列出 20 個 Helpdesk 候選工...
Day 13 我用 Promptfoo 反覆測惡意 SOP，但還有一種文件根本不需要藏指令：它只要屬於別的使用者、部門或 tenant，被當前 Agent 搜出...
Day 11 我做了一份惡意 SOP，Day 12 又整理了 context。不過只擋住一句「忽略先前規則」，還不能代表 retrieval boundary...
Day 10 我先把 context 的來源分開，Day 11 再把惡意 SOP 擋在模型外面。做到這裡，我原本很自然地想：既然不可信內容已經過濾，那多放一點歷...
Day 11｜RAG 最危險的不是幻覺，而是它把資料當成命令 Day 10 我把 system prompt、使用者訊息、RAG 文件和 tool result...
在 Day 6 拆 Agent loop 時，一直卡在同一件事：模型下一輪看到的東西，會同時包含 system prompt、使用者訊息、SOP 查詢結果和工具...
前幾天我把 Promptfoo 放進這個專案時，主要是在看結果：有沒有建立 mock 工單、越權工具是否不存在、SOP 壞掉時有沒有假裝成功。 這些測試還不夠。...
Day 4 做完 timeout、退避重試和降級後，我本來以為這件事差不多收工了：SOP 查不到，最多重試幾次，然後不要開工單。 但那只限制了「同一個請求」。如...
Day 6 的 recursion_limit 解決了一件事：graph 不該無限繞圈。但我很快發現，step 數根本不能回答「這次到底花了多少」。一次 ste...
我一開始把 Agent 想得太像一個會「理解整個任務」的助手。實際把 Helpdesk Agent 拆開後，感覺比較像一個不停改變狀態的程式：模型看見目前資料，...
前四天，我把這個練習專案拆得很保守：它只能查 mock SOP，然後在記憶體裡建立 mock 工單。 但程式能動，不代表我知道它會不會在改一行 prompt、補...
工具失敗時，Agent 最危險的反應往往不是回覆錯誤，而是把同一個請求又送了一次。 Day 3 我只讓 Agent 查 mock SOP、建立 mock 工...
同一把 API Key 同時能查資料、開工單、重設帳號、寄通知時，Agent 的工具清單就不再只是功能清單。 我沒有公司的 API Key。這個專案用的是...
今天我先做一個故意很單純的版本：它會開工單，但還不安全。 昨天我先把「Agent 有工具以後會出什麼事」講清楚。今天我不急著加 Guardrails，反而先...
上一篇看的是怎麼規劃一次 AI 安全檢測，這篇換到攻擊之外的隱私、治理跟法規。 2023 年 3 月三星開放半導體部門的工程師用 ChatGPT，不到三個星期，...
justin_log
Vivian
iThome鐵人賽
看影片追技術