iT邦幫忙

ai security相關文章
共有 36 則文章
鐵人賽 AI Security DAY 18

技術 AI 黑魔法(18):批准一次就永久信任?MCP Client 的攻擊面

上一篇從 MCP Server 出發,看 Tool Poisoning 與傳統 API 漏洞,這篇換到 Client。 Client 要跟 Server 連線、...

鐵人賽 AI Security DAY 17

技術 AI 黑魔法(17):MCP 的工具定義,比工具本身更危險(重啟)

上一篇介紹了 MCP 的三個基本角色:Host、Client、Server,以及三種能力:Tools、Resources、Prompts,這篇繼續了解,當一個...

鐵人賽 AI Security DAY 15

技術 AI 黑魔法(15):當 AI 會自己動手,拆解 Agent 失守的瞬間(重啟)

上一篇談 Excessive Agency 時,重點放在模型拿到了哪些工具、多少權限,以及有多大的自主空間,這篇來看 Agent 怎麼把模型、工具、記憶、設定檔...

鐵人賽 AI Security DAY 14

技術 AI 黑魔法(14):問出 AI 的權限,再讓 AI 替你做壞事(Excessive Agency)(重啟)

上一篇講模型輸出後可能造成的影響,模型輸出如果直接被塞進 HTML、SQL 或 Shell,最後可能變成 XSS、SQL injection 或 Command...

鐵人賽 AI Security DAY 13

技術 AI 黑魔法(13):AI 輸出沒處理就送進系統,會出什麼事?(重啟)

前面的系列文,主要都在看「輸入」會對模型造成什麼影響,這一篇我們來看看模型的「輸出」進到系統之後,會發生什麼事? 2024 年 6 月 JFrog 公開了一個...

鐵人賽 AI Security DAY 12

技術 AI 黑魔法(12):實戰 Break The Prompt,從騙過模型到繞過輸出過濾(重啟)

上一篇打完了 Break The Prompt 的前三關,從「直接問就給」一路到「修改任務目標」,今天繼續往下打第四關和第五關。 第四關:它只肯談攪拌機 第四關...

鐵人賽 AI Security DAY 11

技術 AI 黑魔法(11):實戰 Break The Prompt,套出 AI 不能說的秘密(重啟)

前面幾篇已經聊過 Prompt Injection、Jailbreak、間接注入和多模態注入,今天開始實際動手做,我們用的靶場是 Break The Promp...

鐵人賽 AI Security DAY 10

技術 AI 黑魔法(10):圖片也能下咒,多模態注入攻擊(重啟)

前面幾篇談 Prompt Injection 時,攻擊指令大多出現在聊天視窗、網頁或檢索文件裡,但入口其實不只有文字欄位,圖片、PDF、音訊和影片一樣可以把內容...

鐵人賽 AI Security DAY 9

技術 AI 黑魔法(09):藏在文件裡的咒語,間接注入與 RAG 污染(重啟)

AI 黑魔法(07) 把 Prompt Injection 分成直接與間接兩種,直接注入很直白、很好理解,就是攻擊者坐在聊天視窗前,把攻擊 payload 餵給...

鐵人賽 Build on Google AI DAY 28

技術 Day 28 如果AI 可以正常運作,但它真的安全嗎?

我有多年 IT 技術與跨域學習經驗,現在把 AI、Cloud、Infrastructure 串起來。 如果 AI 可以正常運作,但它真的安全嗎? Day 27...

鐵人賽 AI Security DAY 8

技術 AI 黑魔法(08):越獄 AI,jailbreak 到底在越什麼獄?(重啟)

前一篇介紹 Prompt Injection 時,我們提到模型會同時閱讀指令與資料,但兩者之間沒有像程式那樣明確、不能跨越的界線,所以混在資料裡的外部文字才有機...

鐵人賽 AI Security DAY 7

技術 AI 黑魔法(07):Prompt Injection 是什麼?為什麼 LLM 天生擋不住這道咒語(重啟)

先來看一篇真實案例,2023 年 2 月微軟剛推出整合 ChatGPT 的新版 Bing Chat 沒幾天,史丹佛大學的學生 Kevin Liu 在對話視窗裡打...

鐵人賽 AI Security DAY 6

技術 AI 黑魔法(06):站在巨人肩膀上,AI 安全框架怎麼選?(重啟)

上一篇我們把 AI 的攻擊面拆成資料、模型、應用、系統與供應鏈五塊,畫了一張關聯圖。 這篇我們要來認識 AI 安全框架,你可以把框架想成是別人整理好的懶人包,但...

鐵人賽 AI Security DAY 5

技術 AI 黑魔法(05):AI 的攻擊面有哪些?從資料到供應鏈(重啟)

上一篇我們談到 AI Red Team 到底在測什麼,也提到一個聊天機器人背後,至少可以拆成資料、模型、應用與系統四個層次,另外還有一條貫穿所有環節的供應鏈,這...

鐵人賽 AI Security DAY 4

技術 AI 黑魔法(04):打 AI 跟打傳統系統有什麼不一樣?AI Red Team 在測什麼?(重啟)

上一篇我們提到,生成式 AI 已經成為現今防守方與攻擊者的工具,今天要再往前一步,看很多滲透測試工程師第一次接觸 AI 都會遇到的觀念轉換,打 AI 和打傳統系...

鐵人賽 AI Security DAY 3

技術 AI 黑魔法(03):AI 是最好的助手,也是攻擊者的新武器(重啟)

上一篇我們了解生成式 AI 的運作原理,也知道他的胡說八道來自這個生成原理之後,今天來看看生成式 AI 所帶來的攻擊實例。 2024 年跨國工程公司 Arup...

鐵人賽 AI Security DAY 2

技術 AI 黑魔法(02):AI 為什麼會一本正經地胡說八道?從 AI、ML 到 GenAI 的運作原理(重啟)

2023 年一位美國律師在準備訴訟資料時,請 ChatGPT 幫忙找相關判例,ChatGPT 很快列出六個案例,案件名稱、判決內容、引用格式一應俱全,看起來完全...

鐵人賽 AI Security DAY 1

技術 AI 黑魔法(01):AI 為什麼會成為攻擊目標?(重啟)

大家好,我是 Vivian,一個閒不下來的在職媽媽,目前是一名從事滲透測試工作的工程師,我一直很喜歡挑戰新事物,也習慣每年替自己設定一個新目標,今年我想挑戰一次...

鐵人賽 AI Security DAY 17

技術 AI 黑魔法(17):MCP 的工具定義,比工具本身更危險

上一篇介紹了 MCP 的三個基本角色:Host、Client、Server,以及三種能力:Tools、Resources、Prompts,這篇繼續了解,當一個...

鐵人賽 AI Security DAY 16

技術 AI 黑魔法(16):MCP 把工具接起來,也把風險一起接進來

上一篇我們把 Agent 拆成模型、工具、記憶、設定檔與自主迴圈,但當工具越接越多,就碰到一個工程問題:不同的 AI 應用,能不能用一種共同語言去連這些東西?...

鐵人賽 AI Security DAY 15

技術 AI 黑魔法(15):當 AI 會自己動手,拆解 Agent 失守的瞬間

上一篇談 Excessive Agency 時,重點放在模型拿到了哪些工具、多少權限,以及有多大的自主空間,這篇來看 Agent 怎麼把模型、工具、記憶、設定檔...

鐵人賽 AI Security DAY 14

技術 AI 黑魔法(14):問出 AI 的權限,再讓 AI 替你做壞事(Excessive Agency)

上一篇講模型輸出後可能造成的影響,模型輸出如果直接被塞進 HTML、SQL 或 Shell,最後可能變成 XSS、SQL injection 或 Command...

鐵人賽 AI Security DAY 13

技術 AI 黑魔法(13):AI 輸出沒處理就送進系統,會出什麼事?

前面的系列文,主要都在看「輸入」會對模型造成什麼影響,這一篇我們來看看模型的「輸出」進到系統之後,會發生什麼事? 2024 年 6 月 JFrog 公開了一個...

鐵人賽 AI Security DAY 12

技術 AI 黑魔法(12):實戰 Break The Prompt,從騙過模型到繞過輸出過濾

上一篇打完了 Break The Prompt 的前三關,從「直接問就給」一路到「修改任務目標」,今天繼續往下打第四關和第五關。 第四關:它只肯談攪拌機 第四關...

鐵人賽 AI Security DAY 11

技術 AI 黑魔法(11):實戰 Break The Prompt,套出 AI 不能說的秘密

前面幾篇已經聊過 Prompt Injection、Jailbreak、間接注入和多模態注入,今天開始實際動手做,我們用的靶場是 Break The Promp...

鐵人賽 AI Security DAY 10

技術 AI 黑魔法(10):圖片也能下咒,多模態注入攻擊

前面幾篇談 Prompt Injection 時,攻擊指令大多出現在聊天視窗、網頁或檢索文件裡,但入口其實不只有文字欄位,圖片、PDF、音訊和影片一樣可以把內容...

鐵人賽 AI Security DAY 9

技術 AI 黑魔法(09):藏在文件裡的咒語,間接注入與 RAG 污染

AI 黑魔法(07) 把 Prompt Injection 分成直接與間接兩種,直接注入很直白、很好理解,就是攻擊者坐在聊天視窗前,把攻擊 payload 餵給...

鐵人賽 AI Security DAY 8

技術 AI 黑魔法(08):越獄 AI,jailbreak 到底在越什麼獄?

前一篇介紹 Prompt Injection 時,我們提到模型會同時閱讀指令與資料,但兩者之間沒有像程式那樣明確、不能跨越的界線,所以混在資料裡的外部文字才有機...

鐵人賽 AI Security DAY 7

技術 AI 黑魔法(07):Prompt Injection 是什麼?為什麼 LLM 天生擋不住這道咒語

先來看一篇真實案例,2023 年 2 月微軟剛推出整合 ChatGPT 的新版 Bing Chat 沒幾天,史丹佛大學的學生 Kevin Liu 在對話視窗裡打...

鐵人賽 AI Security DAY 6

技術 AI 黑魔法(06):站在巨人肩膀上,AI 安全框架怎麼選?

上一篇我們把 AI 的攻擊面拆成資料、模型、應用、系統與供應鏈五塊,畫了一張關聯圖。 這篇我們要來認識 AI 安全框架,你可以把框架想成是別人整理好的懶人包,但...