鐵人檔案
AI 系統的應用情境越來越多，攻防手法也跟著不斷演變，我想透過這個系列，帶大家從攻擊者的角度重新認識 AI 系統安全。我不希望大家看完後只記得一堆攻擊名詞，而是真的了解攻擊者在想什麼、會從哪些地方下手，以及這些弱點為什麼會出現，當我們看懂攻擊方式，也就更有機會回頭檢視自己的 AI 系統，知道哪些環節需要特別留意，進一步提升整體安全性。
大家好，我是 Vivian，一個閒不下來的在職媽媽，目前是一名從事滲透測試工作的工程師。 我一直很喜歡挑戰新事物，也習慣每年替自己設定一個新目標，今年我想挑戰一...
2023 年一位美國律師在準備訴訟資料時，請 ChatGPT 幫忙找相關判例，ChatGPT 很快列出六個案例，案件名稱、判決內容、引用格式一應俱全，看起來完全...
2024 年跨國工程公司 Arup 的香港分公司發生了一起詐騙案，一名財務人員收到訊息，對方聲稱英國總部的財務長正在處理一筆機密交易，要求他配合匯款，一開始他也...
上一篇我們提到，生成式 AI 已經成為現今防守方與攻擊者的工具，今天要再往前一步，看很多滲透測試工程師第一次接觸 AI 都會遇到的觀念轉換，打 AI 和打傳統系...
上一篇我們談到 AI Red Team 到底在測什麼，也提到一個聊天機器人背後，至少可以拆成資料、模型、應用與系統四個層次，另外還有一條貫穿所有環節的供應鏈，這...
上一篇我們把 AI 的攻擊面拆成資料、模型、應用、系統與供應鏈五塊，畫了一張關聯圖。 這篇我們要來認識 AI 安全框架，你可以把框架想成是別人整理好的懶人包，但...
先來看一篇真實案例，2023 年 2 月微軟剛推出整合 ChatGPT 的新版 Bing Chat 沒幾天，史丹佛大學的學生 Kevin Liu 在對話視窗裡打...
前一篇介紹 Prompt Injection 時，我們提到模型會同時閱讀指令與資料，但兩者之間沒有像程式那樣明確、不能跨越的界線，所以混在資料裡的外部文字才有機...
AI 黑魔法（07） 把 Prompt Injection 分成直接與間接兩種，直接注入很直白、很好理解，就是攻擊者坐在聊天視窗前，把攻擊 payload 餵給...
前面幾篇談 Prompt Injection 時，攻擊指令大多出現在聊天視窗、網頁或檢索文件裡，但入口其實不只有文字欄位，圖片、PDF、音訊和影片一樣可以把內容...
