檔名叫 dataset,不代表進到系統裡的只有資料。 很多 AI 團隊的資料流程看起來很單純:下載檔案、解壓縮、套用 template、做前處理,最後寫進內部儲...
上一篇介紹了 MCP 的三個基本角色:Host、Client、Server,以及三種能力:Tools、Resources、Prompts,這篇繼續了解,當一個...
2023 年一位美國律師在準備訴訟資料時,請 ChatGPT 幫忙找相關判例,ChatGPT 很快列出六個案例,案件名稱、判決內容、引用格式一應俱全,看起來完全...
大家好,我是 Vivian,一個閒不下來的在職媽媽,目前是一名從事滲透測試工作的工程師。 我一直很喜歡挑戰新事物,也習慣每年替自己設定一個新目標,今年我想挑戰一...
先來看一篇真實案例,2023 年 2 月微軟剛推出整合 ChatGPT 的新版 Bing Chat 沒幾天,史丹佛大學的學生 Kevin Liu 在對話視窗裡打...
前面幾篇已經聊過 Prompt Injection、Jailbreak、間接注入和多模態注入,今天開始實際動手做,我們用的靶場是 Break The Promp...
Day 11 的惡意 SOP 只要在 retrieval boundary 被隔離,這次 run 就不會照著它操作。但如果 Agent 把那段內容整理成「使用者...
2024 年跨國工程公司 Arup 的香港分公司發生了一起詐騙案,一名財務人員收到訊息,對方聲稱英國總部的財務長正在處理一筆機密交易,要求他配合匯款,一開始他也...
前面幾篇談 Prompt Injection 時,攻擊指令大多出現在聊天視窗、網頁或檢索文件裡,但入口其實不只有文字欄位,圖片、PDF、音訊和影片一樣可以把內容...
做到 Day 19,Agent 已經能呼叫真實模型,也有輸入、檢索、工具和後端授權邊界。接下來最容易讓資料越積越多的功能,是記憶。 記住「這台測試筆電是 Win...
上一篇我們把 Agent 拆成模型、工具、記憶、設定檔與自主迴圈,但當工具越接越多,就碰到一個工程問題:不同的 AI 應用,能不能用一種共同語言去連這些東西?...
上一篇我們提到,生成式 AI 已經成為現今防守方與攻擊者的工具,今天要再往前一步,看很多滲透測試工程師第一次接觸 AI 都會遇到的觀念轉換,打 AI 和打傳統系...
AI 黑魔法(07) 把 Prompt Injection 分成直接與間接兩種,直接注入很直白、很好理解,就是攻擊者坐在聊天視窗前,把攻擊 payload 餵給...
先來看一篇真實案例,2023 年 2 月微軟剛推出整合 ChatGPT 的新版 Bing Chat 沒幾天,史丹佛大學的學生 Kevin Liu 在對話視窗裡打...
前一篇介紹 Prompt Injection 時,我們提到模型會同時閱讀指令與資料,但兩者之間沒有像程式那樣明確、不能跨越的界線,所以混在資料裡的外部文字才有機...
2023 年一位美國律師在準備訴訟資料時,請 ChatGPT 幫忙找相關判例,ChatGPT 很快列出六個案例,案件名稱、判決內容、引用格式一應俱全,看起來完全...
上一篇看的是 garak 怎麼自動對模型跑一輪弱掃,這篇換到防守,看 Prompt Injection 防護要做在哪幾層。 AI 黑魔法(07) 講過,對模型來...
上一篇我們把 AI 的攻擊面拆成資料、模型、應用、系統與供應鏈五塊,畫了一張關聯圖。 這篇我們要來認識 AI 安全框架,你可以把框架想成是別人整理好的懶人包,但...
前一篇介紹 Prompt Injection 時,我們提到模型會同時閱讀指令與資料,但兩者之間沒有像程式那樣明確、不能跨越的界線,所以混在資料裡的外部文字才有機...
上一篇我們了解生成式 AI 的運作原理,也知道他的胡說八道來自這個生成原理之後,今天來看看生成式 AI 所帶來的攻擊實例。 2024 年跨國工程公司 Arup...
大家好,我是 Vivian,一個閒不下來的在職媽媽,目前是一名從事滲透測試工作的工程師,我一直很喜歡挑戰新事物,也習慣每年替自己設定一個新目標,今年我想挑戰一次...
上一篇我們談到 AI Red Team 到底在測什麼,也提到一個聊天機器人背後,至少可以拆成資料、模型、應用與系統四個層次,另外還有一條貫穿所有環節的供應鏈,這...
上一篇我們提到,生成式 AI 已經成為現今防守方與攻擊者的工具,今天要再往前一步,看很多滲透測試工程師第一次接觸 AI 都會遇到的觀念轉換,打 AI 和打傳統系...
上一篇我們談到 AI Red Team 到底在測什麼,也提到一個聊天機器人背後,至少可以拆成資料、模型、應用與系統四個層次,另外還有一條貫穿所有環節的供應鏈,這...
AI 黑魔法(07) 把 Prompt Injection 分成直接與間接兩種,直接注入很直白、很好理解,就是攻擊者坐在聊天視窗前,把攻擊 payload 餵給...
上一篇打完了 Break The Prompt 的前三關,從「直接問就給」一路到「修改任務目標」,今天繼續往下打第四關和第五關。 第四關:它只肯談攪拌機 第四關...
前面幾天,我陸續替 Agent 加上 Input、Retrieval 和 Tool Output 檢查。做到這裡很容易產生一個錯覺:既然請求已經通過 Guard...
查核資訊: 本文於 2026-08-25 查核 NIST 的 AI Red Teaming 定義、NVIDIA garak 與 Microsoft PyRIT...
上一篇看的是六種只靠送查詢就打得了的攻擊,這篇換工具上場,把攻擊交給 garak 來執行。 garak 是 Red Team 工具,設計目的是用來測試模型安全性...
上一篇看的是攻擊者怎麼把模型教壞,從資料投毒一路做到只有特定 Trigger 才發作的後門,這篇換成一個從頭到尾都乾淨的模型,攻擊者不碰權重,只是不斷送查詢進去...