iT邦幫忙

promptfoo相關文章
共有 8 則文章
鐵人賽 AI Security DAY 24

技術 Day 24|一個 Agent 把任務交出去後,權限到底去哪了?

Day 23 我讓兩個 worker 同時分析不同問題。它們都只有唯讀 prompt,沒有危險工具,所以責任邊界還算單純。 真正麻煩的是 handoff。一個...

鐵人賽 AI Security DAY 22

技術 Day 22|我只騙了 Agent 一次,它卻記了很久

Day 11 的惡意 SOP 只要在 retrieval boundary 被隔離,這次 run 就不會照著它操作。但如果 Agent 把那段內容整理成「使用者...

鐵人賽 AI Security DAY 17

技術 Day 17|工具只回了一句錯誤訊息,Agent 就被騙了

Day 16 檢查的是模型送往工具的參數。工具跑完之後,資料還會反方向流回 Agent:tool result 進入 context,模型看完再決定下一步。 這...

鐵人賽 AI Security DAY 16

技術 Day 16|AI Agent 為什麼想把內部資料寄給陌生人?

Day 15 我把不需要的外寄工具移出 Helpdesk Agent。不過未來若真的有一條受限流程,要把 SOP 摘要交給支援信箱,事情不會只是把 share_...

鐵人賽 AI Security DAY 13

技術 Day 13|我把惡意 SOP 丟進 Promptfoo,Agent 到底會不會照做?

Day 11 我做了一份惡意 SOP,Day 12 又整理了 context。不過只擋住一句「忽略先前規則」,還不能代表 retrieval boundary...

鐵人賽 AI Security DAY 12

技術 Day 12|塞進更多 Context 後,Agent 為什麼反而更笨了?

Day 10 我先把 context 的來源分開,Day 11 再把惡意 SOP 擋在模型外面。做到這裡,我原本很自然地想:既然不可信內容已經過濾,那多放一點歷...

鐵人賽 AI Security DAY 9

技術 Day 9|我只改了一句 Prompt,Agent 卻多叫了四次工具

前幾天我把 Promptfoo 放進這個專案時,主要是在看結果:有沒有建立 mock 工單、越權工具是否不存在、SOP 壞掉時有沒有假裝成功。 這些測試還不夠。...

鐵人賽 AI Security DAY 5

技術 Day 5|我還沒讓 Agent 上線,先用 Promptfoo 打它一拳

前四天,我把這個練習專案拆得很保守:它只能查 mock SOP,然後在記憶體裡建立 mock 工單。 但程式能動,不代表我知道它會不會在改一行 prompt、補...