技術 AI 黑魔法（14）：問出 AI 的權限，再讓 AI 替你做壞事（Excessive Agency）

上一篇講模型輸出後可能造成的影響，模型輸出如果直接被塞進 HTML、SQL 或 Shell，最後可能變成 XSS、SQL injection 或 Command...

技術 AI 黑魔法（13）：AI 輸出沒處理就送進系統，會出什麼事？

前面的系列文，主要都在看「輸入」會對模型造成什麼影響，這一篇我們來看看模型的「輸出」進到系統之後，會發生什麼事？ 2024 年 6 月 JFrog 公開了一個...

技術 AI 黑魔法（12）：實戰 Break The Prompt，從騙過模型到繞過輸出過濾

上一篇打完了 Break The Prompt 的前三關，從「直接問就給」一路到「修改任務目標」，今天繼續往下打第四關和第五關。 第四關：它只肯談攪拌機 第四關...

技術 AI 黑魔法（11）：實戰 Break The Prompt，套出 AI 不能說的秘密

前面幾篇已經聊過 Prompt Injection、Jailbreak、間接注入和多模態注入，今天開始實際動手做，我們用的靶場是 Break The Promp...

技術 AI 黑魔法（10）：圖片也能下咒，多模態注入攻擊

前面幾篇談 Prompt Injection 時，攻擊指令大多出現在聊天視窗、網頁或檢索文件裡，但入口其實不只有文字欄位，圖片、PDF、音訊和影片一樣可以把內容...

技術 AI 黑魔法（09）：藏在文件裡的咒語，間接注入與 RAG 污染

AI 黑魔法（07） 把 Prompt Injection 分成直接與間接兩種，直接注入很直白、很好理解，就是攻擊者坐在聊天視窗前，把攻擊 payload 餵給...

技術 AI 黑魔法（08）：越獄 AI，jailbreak 到底在越什麼獄？

前一篇介紹 Prompt Injection 時，我們提到模型會同時閱讀指令與資料，但兩者之間沒有像程式那樣明確、不能跨越的界線，所以混在資料裡的外部文字才有機...

技術 AI 黑魔法（07）：Prompt Injection 是什麼？為什麼 LLM 天生擋不住這道咒語

先來看一篇真實案例，2023 年 2 月微軟剛推出整合 ChatGPT 的新版 Bing Chat 沒幾天，史丹佛大學的學生 Kevin Liu 在對話視窗裡打...

技術 AI 黑魔法（06）：站在巨人肩膀上，AI 安全框架怎麼選？

上一篇我們把 AI 的攻擊面拆成資料、模型、應用、系統與供應鏈五塊，畫了一張關聯圖。 這篇我們要來認識 AI 安全框架，你可以把框架想成是別人整理好的懶人包，但...

技術 AI 黑魔法（04）：打 AI 跟打傳統系統有什麼不一樣？AI Red Team 在測什麼？

上一篇我們提到，生成式 AI 已經成為現今防守方與攻擊者的工具，今天要再往前一步，看很多滲透測試工程師第一次接觸 AI 都會遇到的觀念轉換，打 AI 和打傳統系...

技術 AI 黑魔法（05）：AI 的攻擊面有哪些？從資料到供應鏈

上一篇我們談到 AI Red Team 到底在測什麼，也提到一個聊天機器人背後，至少可以拆成資料、模型、應用與系統四個層次，另外還有一條貫穿所有環節的供應鏈，這...

技術 AI 黑魔法（03）：AI 是最好的助手，也是攻擊者的新武器

2024 年跨國工程公司 Arup 的香港分公司發生了一起詐騙案，一名財務人員收到訊息，對方聲稱英國總部的財務長正在處理一筆機密交易，要求他配合匯款，一開始他也...

技術 AI 黑魔法（02）：AI 為什麼會一本正經地胡說八道？從 AI、ML 到 GenAI 的運作原理

2023 年一位美國律師在準備訴訟資料時，請 ChatGPT 幫忙找相關判例，ChatGPT 很快列出六個案例，案件名稱、判決內容、引用格式一應俱全，看起來完全...

技術 AI 黑魔法（01）：AI 為什麼會成為攻擊目標？

大家好，我是 Vivian，一個閒不下來的在職媽媽，目前是一名從事滲透測試工作的工程師。 我一直很喜歡挑戰新事物，也習慣每年替自己設定一個新目標，今年我想挑戰一...

技術 下載 dataset 的那一刻，你其實已經在執行第三方程式

檔名叫 dataset，不代表進到系統裡的只有資料。 很多 AI 團隊的資料流程看起來很單純：下載檔案、解壓縮、套用 template、做前處理，最後寫進內部儲...