鐵人檔案
AI 系統的應用情境越來越多，攻防手法也跟著不斷演變，我想透過這個系列，帶大家從攻擊者的角度重新認識 AI 系統安全。我不希望大家看完後只記得一堆攻擊名詞，而是真的了解攻擊者在想什麼、會從哪些地方下手，以及這些弱點為什麼會出現，當我們看懂攻擊方式，也就更有機會回頭檢視自己的 AI 系統，知道哪些環節需要特別留意，進一步提升整體安全性。
前面幾篇已經聊過 Prompt Injection、Jailbreak、間接注入和多模態注入，今天開始實際動手做，我們用的靶場是 Break The Promp...
上一篇打完了 Break The Prompt 的前三關，從「直接問就給」一路到「修改任務目標」，今天繼續往下打第四關和第五關。 第四關：它只肯談攪拌機 第四關...
前面的系列文，主要都在看「輸入」會對模型造成什麼影響，這一篇我們來看看模型的「輸出」進到系統之後，會發生什麼事？ 2024 年 6 月 JFrog 公開了一個...
上一篇講模型輸出後可能造成的影響，模型輸出如果直接被塞進 HTML、SQL 或 Shell，最後可能變成 XSS、SQL injection 或 Command...
上一篇談 Excessive Agency 時，重點放在模型拿到了哪些工具、多少權限，以及有多大的自主空間，這篇來看 Agent 怎麼把模型、工具、記憶、設定檔...
上一篇我們把 Agent 拆成模型、工具、記憶、設定檔與自主迴圈，但當工具越接越多，就碰到一個工程問題：不同的 AI 應用，能不能用一種共同語言去連這些東西？...
上一篇介紹了 MCP 的三個基本角色：Host、Client、Server，以及三種能力：Tools、Resources、Prompts，這篇繼續了解，當一個...
上一篇從 MCP Server 出發，看 Tool Poisoning 與傳統 API 漏洞，這篇換到 Client。 Client 要跟 Server 連線、...
AI 黑魔法（16） 把 MCP 的三種角色與信任邊界講完，AI 黑魔法（17） 講過工具定義本身就是攻擊面，這篇我們來直接拿 MCP Tool Poisoni...
上一篇用 Tool Poisoning 打了三關，只要改掉 MCP 的工具描述，就可能讓 Agent 把 email 和整段聊天紀錄塞進原本不該出現的參數。 我...
