iT邦幫忙

ai security相關文章
共有 46 則文章

技術 下載 dataset 的那一刻,你其實已經在執行第三方程式

檔名叫 dataset,不代表進到系統裡的只有資料。 很多 AI 團隊的資料流程看起來很單純:下載檔案、解壓縮、套用 template、做前處理,最後寫進內部儲...

鐵人賽 AI Security DAY 17

技術 AI 黑魔法(17):MCP 的工具定義,比工具本身更危險

上一篇介紹了 MCP 的三個基本角色:Host、Client、Server,以及三種能力:Tools、Resources、Prompts,這篇繼續了解,當一個...

鐵人賽 AI Security DAY 1

技術 AI 黑魔法(01):AI 為什麼會成為攻擊目標?

大家好,我是 Vivian,一個閒不下來的在職媽媽,目前是一名從事滲透測試工作的工程師。 我一直很喜歡挑戰新事物,也習慣每年替自己設定一個新目標,今年我想挑戰一...

鐵人賽 AI Security DAY 3

技術 AI 黑魔法(03):AI 是最好的助手,也是攻擊者的新武器

2024 年跨國工程公司 Arup 的香港分公司發生了一起詐騙案,一名財務人員收到訊息,對方聲稱英國總部的財務長正在處理一筆機密交易,要求他配合匯款,一開始他也...

鐵人賽 AI Security DAY 2

技術 AI 黑魔法(02):AI 為什麼會一本正經地胡說八道?從 AI、ML 到 GenAI 的運作原理

2023 年一位美國律師在準備訴訟資料時,請 ChatGPT 幫忙找相關判例,ChatGPT 很快列出六個案例,案件名稱、判決內容、引用格式一應俱全,看起來完全...

鐵人賽 AI Security DAY 4

技術 AI 黑魔法(04):打 AI 跟打傳統系統有什麼不一樣?AI Red Team 在測什麼?

上一篇我們提到,生成式 AI 已經成為現今防守方與攻擊者的工具,今天要再往前一步,看很多滲透測試工程師第一次接觸 AI 都會遇到的觀念轉換,打 AI 和打傳統系...

鐵人賽 AI Security DAY 7

技術 AI 黑魔法(07):Prompt Injection 是什麼?為什麼 LLM 天生擋不住這道咒語

先來看一篇真實案例,2023 年 2 月微軟剛推出整合 ChatGPT 的新版 Bing Chat 沒幾天,史丹佛大學的學生 Kevin Liu 在對話視窗裡打...

鐵人賽 AI Security DAY 8

技術 AI 黑魔法(08):越獄 AI,jailbreak 到底在越什麼獄?

前一篇介紹 Prompt Injection 時,我們提到模型會同時閱讀指令與資料,但兩者之間沒有像程式那樣明確、不能跨越的界線,所以混在資料裡的外部文字才有機...

鐵人賽 AI Security DAY 9

技術 AI 黑魔法(09):藏在文件裡的咒語,間接注入與 RAG 污染

AI 黑魔法(07) 把 Prompt Injection 分成直接與間接兩種,直接注入很直白、很好理解,就是攻擊者坐在聊天視窗前,把攻擊 payload 餵給...

鐵人賽 AI Security DAY 10

技術 AI 黑魔法(10):圖片也能下咒,多模態注入攻擊

前面幾篇談 Prompt Injection 時,攻擊指令大多出現在聊天視窗、網頁或檢索文件裡,但入口其實不只有文字欄位,圖片、PDF、音訊和影片一樣可以把內容...

鐵人賽 AI Security DAY 6

技術 AI 黑魔法(06):站在巨人肩膀上,AI 安全框架怎麼選?

上一篇我們把 AI 的攻擊面拆成資料、模型、應用、系統與供應鏈五塊,畫了一張關聯圖。 這篇我們要來認識 AI 安全框架,你可以把框架想成是別人整理好的懶人包,但...

鐵人賽 AI Security DAY 16

技術 AI 黑魔法(16):MCP 把工具接起來,也把風險一起接進來

上一篇我們把 Agent 拆成模型、工具、記憶、設定檔與自主迴圈,但當工具越接越多,就碰到一個工程問題:不同的 AI 應用,能不能用一種共同語言去連這些東西?...

鐵人賽 AI Security DAY 11

技術 AI 黑魔法(11):實戰 Break The Prompt,套出 AI 不能說的秘密

前面幾篇已經聊過 Prompt Injection、Jailbreak、間接注入和多模態注入,今天開始實際動手做,我們用的靶場是 Break The Promp...

鐵人賽 AI Security DAY 2

技術 AI 黑魔法(02):AI 為什麼會一本正經地胡說八道?從 AI、ML 到 GenAI 的運作原理(重啟)

2023 年一位美國律師在準備訴訟資料時,請 ChatGPT 幫忙找相關判例,ChatGPT 很快列出六個案例,案件名稱、判決內容、引用格式一應俱全,看起來完全...

鐵人賽 AI Security DAY 5

技術 AI 黑魔法(05):AI 的攻擊面有哪些?從資料到供應鏈

上一篇我們談到 AI Red Team 到底在測什麼,也提到一個聊天機器人背後,至少可以拆成資料、模型、應用與系統四個層次,另外還有一條貫穿所有環節的供應鏈,這...

鐵人賽 AI Security DAY 3

技術 AI 黑魔法(03):AI 是最好的助手,也是攻擊者的新武器(重啟)

上一篇我們了解生成式 AI 的運作原理,也知道他的胡說八道來自這個生成原理之後,今天來看看生成式 AI 所帶來的攻擊實例。 2024 年跨國工程公司 Arup...

鐵人賽 AI Security DAY 1

技術 AI 黑魔法(01):AI 為什麼會成為攻擊目標?(重啟)

大家好,我是 Vivian,一個閒不下來的在職媽媽,目前是一名從事滲透測試工作的工程師,我一直很喜歡挑戰新事物,也習慣每年替自己設定一個新目標,今年我想挑戰一次...

鐵人賽 AI Security DAY 7

技術 AI 黑魔法(07):Prompt Injection 是什麼?為什麼 LLM 天生擋不住這道咒語(重啟)

先來看一篇真實案例,2023 年 2 月微軟剛推出整合 ChatGPT 的新版 Bing Chat 沒幾天,史丹佛大學的學生 Kevin Liu 在對話視窗裡打...

鐵人賽 AI Security DAY 5

技術 AI 黑魔法(05):AI 的攻擊面有哪些?從資料到供應鏈(重啟)

上一篇我們談到 AI Red Team 到底在測什麼,也提到一個聊天機器人背後,至少可以拆成資料、模型、應用與系統四個層次,另外還有一條貫穿所有環節的供應鏈,這...

鐵人賽 AI Security DAY 12

技術 AI 黑魔法(12):實戰 Break The Prompt,從騙過模型到繞過輸出過濾

上一篇打完了 Break The Prompt 的前三關,從「直接問就給」一路到「修改任務目標」,今天繼續往下打第四關和第五關。 第四關:它只肯談攪拌機 第四關...

鐵人賽 AI Security DAY 14

技術 AI 黑魔法(14):問出 AI 的權限,再讓 AI 替你做壞事(Excessive Agency)

上一篇講模型輸出後可能造成的影響,模型輸出如果直接被塞進 HTML、SQL 或 Shell,最後可能變成 XSS、SQL injection 或 Command...

鐵人賽 AI Security DAY 13

技術 AI 黑魔法(13):AI 輸出沒處理就送進系統,會出什麼事?

前面的系列文,主要都在看「輸入」會對模型造成什麼影響,這一篇我們來看看模型的「輸出」進到系統之後,會發生什麼事? 2024 年 6 月 JFrog 公開了一個...

鐵人賽 AI Security DAY 8

技術 AI 黑魔法(08):越獄 AI,jailbreak 到底在越什麼獄?(重啟)

前一篇介紹 Prompt Injection 時,我們提到模型會同時閱讀指令與資料,但兩者之間沒有像程式那樣明確、不能跨越的界線,所以混在資料裡的外部文字才有機...

鐵人賽 AI Security DAY 4

技術 AI 黑魔法(04):打 AI 跟打傳統系統有什麼不一樣?AI Red Team 在測什麼?(重啟)

上一篇我們提到,生成式 AI 已經成為現今防守方與攻擊者的工具,今天要再往前一步,看很多滲透測試工程師第一次接觸 AI 都會遇到的觀念轉換,打 AI 和打傳統系...

鐵人賽 AI Security DAY 9

技術 AI 黑魔法(09):藏在文件裡的咒語,間接注入與 RAG 污染(重啟)

AI 黑魔法(07) 把 Prompt Injection 分成直接與間接兩種,直接注入很直白、很好理解,就是攻擊者坐在聊天視窗前,把攻擊 payload 餵給...

鐵人賽 AI Security DAY 30

技術 總結:LLM 應用安全檢查清單與心法

查核資訊: 本文於 2026-08-25 查核 NIST AI Risk Management Framework、NIST AI 600-1、NIST SP...

鐵人賽 AI Security DAY 17

技術 AI 黑魔法(17):MCP 的工具定義,比工具本身更危險(重啟)

上一篇介紹了 MCP 的三個基本角色:Host、Client、Server,以及三種能力:Tools、Resources、Prompts,這篇繼續了解,當一個...

鐵人賽 AI Security DAY 10

技術 AI 黑魔法(10):圖片也能下咒,多模態注入攻擊(重啟)

前面幾篇談 Prompt Injection 時,攻擊指令大多出現在聊天視窗、網頁或檢索文件裡,但入口其實不只有文字欄位,圖片、PDF、音訊和影片一樣可以把內容...

鐵人賽 AI Security DAY 13

技術 AI 黑魔法(13):AI 輸出沒處理就送進系統,會出什麼事?(重啟)

前面的系列文,主要都在看「輸入」會對模型造成什麼影響,這一篇我們來看看模型的「輸出」進到系統之後,會發生什麼事? 2024 年 6 月 JFrog 公開了一個...

鐵人賽 AI Security DAY 29

技術 AI Red Teaming 實戰:自動化攻擊測試

查核資訊: 本文於 2026-08-25 查核 NIST 的 AI Red Teaming 定義、NVIDIA garak 與 Microsoft PyRIT...