iT邦幫忙

ai security相關文章
共有 79 則文章

技術 下載 dataset 的那一刻,你其實已經在執行第三方程式

檔名叫 dataset,不代表進到系統裡的只有資料。 很多 AI 團隊的資料流程看起來很單純:下載檔案、解壓縮、套用 template、做前處理,最後寫進內部儲...

鐵人賽 AI Security DAY 17

技術 AI 黑魔法(17):MCP 的工具定義,比工具本身更危險

上一篇介紹了 MCP 的三個基本角色:Host、Client、Server,以及三種能力:Tools、Resources、Prompts,這篇繼續了解,當一個...

鐵人賽 AI Security DAY 2

技術 AI 黑魔法(02):AI 為什麼會一本正經地胡說八道?從 AI、ML 到 GenAI 的運作原理

2023 年一位美國律師在準備訴訟資料時,請 ChatGPT 幫忙找相關判例,ChatGPT 很快列出六個案例,案件名稱、判決內容、引用格式一應俱全,看起來完全...

鐵人賽 AI Security DAY 1

技術 AI 黑魔法(01):AI 為什麼會成為攻擊目標?

大家好,我是 Vivian,一個閒不下來的在職媽媽,目前是一名從事滲透測試工作的工程師。 我一直很喜歡挑戰新事物,也習慣每年替自己設定一個新目標,今年我想挑戰一...

鐵人賽 AI Security DAY 7

技術 AI 黑魔法(07):Prompt Injection 是什麼?為什麼 LLM 天生擋不住這道咒語

先來看一篇真實案例,2023 年 2 月微軟剛推出整合 ChatGPT 的新版 Bing Chat 沒幾天,史丹佛大學的學生 Kevin Liu 在對話視窗裡打...

鐵人賽 AI Security DAY 11

技術 AI 黑魔法(11):實戰 Break The Prompt,套出 AI 不能說的秘密

前面幾篇已經聊過 Prompt Injection、Jailbreak、間接注入和多模態注入,今天開始實際動手做,我們用的靶場是 Break The Promp...

鐵人賽 AI Security DAY 22

技術 Day 22|我只騙了 Agent 一次,它卻記了很久

Day 11 的惡意 SOP 只要在 retrieval boundary 被隔離,這次 run 就不會照著它操作。但如果 Agent 把那段內容整理成「使用者...

鐵人賽 AI Security DAY 3

技術 AI 黑魔法(03):AI 是最好的助手,也是攻擊者的新武器

2024 年跨國工程公司 Arup 的香港分公司發生了一起詐騙案,一名財務人員收到訊息,對方聲稱英國總部的財務長正在處理一筆機密交易,要求他配合匯款,一開始他也...

鐵人賽 AI Security DAY 10

技術 AI 黑魔法(10):圖片也能下咒,多模態注入攻擊

前面幾篇談 Prompt Injection 時,攻擊指令大多出現在聊天視窗、網頁或檢索文件裡,但入口其實不只有文字欄位,圖片、PDF、音訊和影片一樣可以把內容...

鐵人賽 AI Security DAY 20

技術 Day 20|Agent 的記憶是功能,還是一顆定時炸彈?

做到 Day 19,Agent 已經能呼叫真實模型,也有輸入、檢索、工具和後端授權邊界。接下來最容易讓資料越積越多的功能,是記憶。 記住「這台測試筆電是 Win...

鐵人賽 AI Security DAY 16

技術 AI 黑魔法(16):MCP 把工具接起來,也把風險一起接進來

上一篇我們把 Agent 拆成模型、工具、記憶、設定檔與自主迴圈,但當工具越接越多,就碰到一個工程問題:不同的 AI 應用,能不能用一種共同語言去連這些東西?...

鐵人賽 AI Security DAY 4

技術 AI 黑魔法(04):打 AI 跟打傳統系統有什麼不一樣?AI Red Team 在測什麼?

上一篇我們提到,生成式 AI 已經成為現今防守方與攻擊者的工具,今天要再往前一步,看很多滲透測試工程師第一次接觸 AI 都會遇到的觀念轉換,打 AI 和打傳統系...

鐵人賽 AI Security DAY 9

技術 AI 黑魔法(09):藏在文件裡的咒語,間接注入與 RAG 污染

AI 黑魔法(07) 把 Prompt Injection 分成直接與間接兩種,直接注入很直白、很好理解,就是攻擊者坐在聊天視窗前,把攻擊 payload 餵給...

鐵人賽 AI Security DAY 7

技術 AI 黑魔法(07):Prompt Injection 是什麼?為什麼 LLM 天生擋不住這道咒語(重啟)

先來看一篇真實案例,2023 年 2 月微軟剛推出整合 ChatGPT 的新版 Bing Chat 沒幾天,史丹佛大學的學生 Kevin Liu 在對話視窗裡打...

鐵人賽 AI Security DAY 8

技術 AI 黑魔法(08):越獄 AI,jailbreak 到底在越什麼獄?

前一篇介紹 Prompt Injection 時,我們提到模型會同時閱讀指令與資料,但兩者之間沒有像程式那樣明確、不能跨越的界線,所以混在資料裡的外部文字才有機...

鐵人賽 AI Security DAY 2

技術 AI 黑魔法(02):AI 為什麼會一本正經地胡說八道?從 AI、ML 到 GenAI 的運作原理(重啟)

2023 年一位美國律師在準備訴訟資料時,請 ChatGPT 幫忙找相關判例,ChatGPT 很快列出六個案例,案件名稱、判決內容、引用格式一應俱全,看起來完全...

鐵人賽 AI Security DAY 25

技術 AI 黑魔法(25):縱深防禦(一),Prompt Injection 防護要做在哪幾層?

上一篇看的是 garak 怎麼自動對模型跑一輪弱掃,這篇換到防守,看 Prompt Injection 防護要做在哪幾層。 AI 黑魔法(07) 講過,對模型來...

鐵人賽 AI Security DAY 6

技術 AI 黑魔法(06):站在巨人肩膀上,AI 安全框架怎麼選?

上一篇我們把 AI 的攻擊面拆成資料、模型、應用、系統與供應鏈五塊,畫了一張關聯圖。 這篇我們要來認識 AI 安全框架,你可以把框架想成是別人整理好的懶人包,但...

鐵人賽 AI Security DAY 8

技術 AI 黑魔法(08):越獄 AI,jailbreak 到底在越什麼獄?(重啟)

前一篇介紹 Prompt Injection 時,我們提到模型會同時閱讀指令與資料,但兩者之間沒有像程式那樣明確、不能跨越的界線,所以混在資料裡的外部文字才有機...

鐵人賽 AI Security DAY 3

技術 AI 黑魔法(03):AI 是最好的助手,也是攻擊者的新武器(重啟)

上一篇我們了解生成式 AI 的運作原理,也知道他的胡說八道來自這個生成原理之後,今天來看看生成式 AI 所帶來的攻擊實例。 2024 年跨國工程公司 Arup...

鐵人賽 AI Security DAY 1

技術 AI 黑魔法(01):AI 為什麼會成為攻擊目標?(重啟)

大家好,我是 Vivian,一個閒不下來的在職媽媽,目前是一名從事滲透測試工作的工程師,我一直很喜歡挑戰新事物,也習慣每年替自己設定一個新目標,今年我想挑戰一次...

鐵人賽 AI Security DAY 5

技術 AI 黑魔法(05):AI 的攻擊面有哪些?從資料到供應鏈(重啟)

上一篇我們談到 AI Red Team 到底在測什麼,也提到一個聊天機器人背後,至少可以拆成資料、模型、應用與系統四個層次,另外還有一條貫穿所有環節的供應鏈,這...

鐵人賽 AI Security DAY 4

技術 AI 黑魔法(04):打 AI 跟打傳統系統有什麼不一樣?AI Red Team 在測什麼?(重啟)

上一篇我們提到,生成式 AI 已經成為現今防守方與攻擊者的工具,今天要再往前一步,看很多滲透測試工程師第一次接觸 AI 都會遇到的觀念轉換,打 AI 和打傳統系...

鐵人賽 AI Security DAY 5

技術 AI 黑魔法(05):AI 的攻擊面有哪些?從資料到供應鏈

上一篇我們談到 AI Red Team 到底在測什麼,也提到一個聊天機器人背後,至少可以拆成資料、模型、應用與系統四個層次,另外還有一條貫穿所有環節的供應鏈,這...

鐵人賽 AI Security DAY 9

技術 AI 黑魔法(09):藏在文件裡的咒語,間接注入與 RAG 污染(重啟)

AI 黑魔法(07) 把 Prompt Injection 分成直接與間接兩種,直接注入很直白、很好理解,就是攻擊者坐在聊天視窗前,把攻擊 payload 餵給...

鐵人賽 AI Security DAY 12

技術 AI 黑魔法(12):實戰 Break The Prompt,從騙過模型到繞過輸出過濾

上一篇打完了 Break The Prompt 的前三關,從「直接問就給」一路到「修改任務目標」,今天繼續往下打第四關和第五關。 第四關:它只肯談攪拌機 第四關...

鐵人賽 AI Security DAY 19

技術 Day 19|Guardrails 都說可以,為什麼後端還是應該拒絕 Agent?

前面幾天,我陸續替 Agent 加上 Input、Retrieval 和 Tool Output 檢查。做到這裡很容易產生一個錯覺:既然請求已經通過 Guard...

鐵人賽 AI Security DAY 29

技術 AI Red Teaming 實戰:自動化攻擊測試

查核資訊: 本文於 2026-08-25 查核 NIST 的 AI Red Teaming 定義、NVIDIA garak 與 Microsoft PyRIT...

鐵人賽 AI Security DAY 24

技術 AI 黑魔法(24):讓工具替你掃,garak 自動化紅隊

上一篇看的是六種只靠送查詢就打得了的攻擊,這篇換工具上場,把攻擊交給 garak 來執行。 garak 是 Red Team 工具,設計目的是用來測試模型安全性...

鐵人賽 AI Security DAY 23

技術 AI 黑魔法(23):AI 會說溜嘴,也會看走眼

上一篇看的是攻擊者怎麼把模型教壞,從資料投毒一路做到只有特定 Trigger 才發作的後門,這篇換成一個從頭到尾都乾淨的模型,攻擊者不碰權重,只是不斷送查詢進去...