檔名叫 dataset,不代表進到系統裡的只有資料。 很多 AI 團隊的資料流程看起來很單純:下載檔案、解壓縮、套用 template、做前處理,最後寫進內部儲...
上一篇介紹了 MCP 的三個基本角色:Host、Client、Server,以及三種能力:Tools、Resources、Prompts,這篇繼續了解,當一個...
大家好,我是 Vivian,一個閒不下來的在職媽媽,目前是一名從事滲透測試工作的工程師。 我一直很喜歡挑戰新事物,也習慣每年替自己設定一個新目標,今年我想挑戰一...
2024 年跨國工程公司 Arup 的香港分公司發生了一起詐騙案,一名財務人員收到訊息,對方聲稱英國總部的財務長正在處理一筆機密交易,要求他配合匯款,一開始他也...
2023 年一位美國律師在準備訴訟資料時,請 ChatGPT 幫忙找相關判例,ChatGPT 很快列出六個案例,案件名稱、判決內容、引用格式一應俱全,看起來完全...
上一篇我們提到,生成式 AI 已經成為現今防守方與攻擊者的工具,今天要再往前一步,看很多滲透測試工程師第一次接觸 AI 都會遇到的觀念轉換,打 AI 和打傳統系...
先來看一篇真實案例,2023 年 2 月微軟剛推出整合 ChatGPT 的新版 Bing Chat 沒幾天,史丹佛大學的學生 Kevin Liu 在對話視窗裡打...
前一篇介紹 Prompt Injection 時,我們提到模型會同時閱讀指令與資料,但兩者之間沒有像程式那樣明確、不能跨越的界線,所以混在資料裡的外部文字才有機...
AI 黑魔法(07) 把 Prompt Injection 分成直接與間接兩種,直接注入很直白、很好理解,就是攻擊者坐在聊天視窗前,把攻擊 payload 餵給...
前面幾篇談 Prompt Injection 時,攻擊指令大多出現在聊天視窗、網頁或檢索文件裡,但入口其實不只有文字欄位,圖片、PDF、音訊和影片一樣可以把內容...
上一篇我們把 AI 的攻擊面拆成資料、模型、應用、系統與供應鏈五塊,畫了一張關聯圖。 這篇我們要來認識 AI 安全框架,你可以把框架想成是別人整理好的懶人包,但...
上一篇我們把 Agent 拆成模型、工具、記憶、設定檔與自主迴圈,但當工具越接越多,就碰到一個工程問題:不同的 AI 應用,能不能用一種共同語言去連這些東西?...
前面幾篇已經聊過 Prompt Injection、Jailbreak、間接注入和多模態注入,今天開始實際動手做,我們用的靶場是 Break The Promp...
2023 年一位美國律師在準備訴訟資料時,請 ChatGPT 幫忙找相關判例,ChatGPT 很快列出六個案例,案件名稱、判決內容、引用格式一應俱全,看起來完全...
上一篇我們談到 AI Red Team 到底在測什麼,也提到一個聊天機器人背後,至少可以拆成資料、模型、應用與系統四個層次,另外還有一條貫穿所有環節的供應鏈,這...
上一篇我們了解生成式 AI 的運作原理,也知道他的胡說八道來自這個生成原理之後,今天來看看生成式 AI 所帶來的攻擊實例。 2024 年跨國工程公司 Arup...
大家好,我是 Vivian,一個閒不下來的在職媽媽,目前是一名從事滲透測試工作的工程師,我一直很喜歡挑戰新事物,也習慣每年替自己設定一個新目標,今年我想挑戰一次...
先來看一篇真實案例,2023 年 2 月微軟剛推出整合 ChatGPT 的新版 Bing Chat 沒幾天,史丹佛大學的學生 Kevin Liu 在對話視窗裡打...
上一篇我們談到 AI Red Team 到底在測什麼,也提到一個聊天機器人背後,至少可以拆成資料、模型、應用與系統四個層次,另外還有一條貫穿所有環節的供應鏈,這...
上一篇打完了 Break The Prompt 的前三關,從「直接問就給」一路到「修改任務目標」,今天繼續往下打第四關和第五關。 第四關:它只肯談攪拌機 第四關...
上一篇講模型輸出後可能造成的影響,模型輸出如果直接被塞進 HTML、SQL 或 Shell,最後可能變成 XSS、SQL injection 或 Command...
前面的系列文,主要都在看「輸入」會對模型造成什麼影響,這一篇我們來看看模型的「輸出」進到系統之後,會發生什麼事? 2024 年 6 月 JFrog 公開了一個...
前一篇介紹 Prompt Injection 時,我們提到模型會同時閱讀指令與資料,但兩者之間沒有像程式那樣明確、不能跨越的界線,所以混在資料裡的外部文字才有機...
上一篇我們提到,生成式 AI 已經成為現今防守方與攻擊者的工具,今天要再往前一步,看很多滲透測試工程師第一次接觸 AI 都會遇到的觀念轉換,打 AI 和打傳統系...
AI 黑魔法(07) 把 Prompt Injection 分成直接與間接兩種,直接注入很直白、很好理解,就是攻擊者坐在聊天視窗前,把攻擊 payload 餵給...
查核資訊: 本文於 2026-08-25 查核 NIST AI Risk Management Framework、NIST AI 600-1、NIST SP...
上一篇介紹了 MCP 的三個基本角色:Host、Client、Server,以及三種能力:Tools、Resources、Prompts,這篇繼續了解,當一個...
前面幾篇談 Prompt Injection 時,攻擊指令大多出現在聊天視窗、網頁或檢索文件裡,但入口其實不只有文字欄位,圖片、PDF、音訊和影片一樣可以把內容...
前面的系列文,主要都在看「輸入」會對模型造成什麼影響,這一篇我們來看看模型的「輸出」進到系統之後,會發生什麼事? 2024 年 6 月 JFrog 公開了一個...
查核資訊: 本文於 2026-08-25 查核 NIST 的 AI Red Teaming 定義、NVIDIA garak 與 Microsoft PyRIT...