iT邦幫忙

2025 iThome 鐵人賽

DAY 8
0
生成式 AI

生成式AI洞察 (Generative AI Insights)系列 第 10

第八天之二:當AI平台遭遇駭客:工程師必知的17種AI資安攻擊手法

  • 分享至 

  • xImage
  •  

各位AI世界的守護者們,歡迎來到我們的鐵人賽第八天!在昨天的文章中,我們聊到了「模型名稱空間」這個聽起來有些抽象但極其致命的漏洞。今天,我們要更深入地探討這個議題,來看看一份由 @ankitaiitr 整理的資料,它揭示了AI多組件平台(Multi-Component Platform, MCP)可能面臨的17種資安攻擊手法。

什麼是AI多組件平台(MCP)?簡單來說,這類平台不只是單純的LLM,而是將LLM與各種外部工具(如搜尋引擎、資料庫、程式碼執行器等)整合在一起的複雜系統。這讓AI的能力從「單純聊天」,升級為「動手做事」。然而,當AI開始「動手」,資安風險也隨之倍增。

這份資料將17種攻擊手法,歸類到五大核心資產:提示(prompts)、工具(tools)、資源(resources)、中繼資料(metadata)和配置(configuration)。讓我們一起看看幾種最值得我們注意的攻擊類型。

1. 提示(Prompt)相關攻擊:從「指令」到「劫持」

我們過去常說「提示詞工程」(Prompt Engineering),但如果提示詞本身就是惡意的呢?

  • 提示注入(Prompt Injection):這是最常見也最直接的攻擊手法。攻擊者透過惡意提示詞,改變AI代理的行為模式。這就像是在給AI下達指令時,偷偷塞入一個「大逆不道」的命令。
  • 間接提示注入(Indirect Prompt Injection):更為陰險的攻擊手法。駭客將惡意指令隱藏在工具的輸出或外部資源中。例如,AI在處理一份被惡意植入指令的網頁內容時,會在不知不覺中執行該惡意指令。

2. 工具(Tool)相關攻擊:當AI的「武器」被掉包

當AI被賦予使用工具的能力後,這些工具本身也成為了攻擊的目標。

  • 工具/服務誤用(Tool / Service Misuse):也被稱為「困惑AI(Confused Al)」。AI代理使用了正確的工具,但卻以錯誤的方式來執行。這可能導致它在沒有權限的情況下,對系統進行操作。
  • 工具影子攻擊(Tool Shadowing Attack):一個假的工具被註冊,並使用與可信賴工具相同的名稱。這有點像「假帳號」攻擊,讓AI在呼叫時誤判,導致執行了惡意程式碼。
  • 程式套件名稱盜用(Package Name Squatting):攻擊者發布一個與真實工具名稱相似的惡意工具,或者註冊一個虛假的MCP伺服器,並使用誤導性的名稱。這讓我們在下載或連接時,很容易踩到陷阱。
  • 工具毒化(Tool Poisoning):一個原本合法的工具遭到破壞,並開始回傳不安全的響應。這就像是一個可信賴的供應商,其產品在運送過程中被偷偷加入了毒藥。

3. 系統與資料相關攻擊:從內部到外部的威脅

除了直接針對提示與工具,駭客也可能從底層系統或資料流動下手。

  • 沙盒逃逸(Sandbox Escape):這是工程師的噩夢。一個工具或代理突破了隔離環境,從而接觸到外部資源,這讓攻擊者得以從受限的環境中,滲透到整個系統。
  • 資料滲漏(Data Exfiltration):敏感資訊透過MCP呼叫被偷偷帶出。這可能是由於AI在處理數據時,將敏感內容意外地回傳給了攻擊者,或被惡意指令所利用。
  • 中間人攻擊(Man-in-the-Middle):攻擊者攔截並更改MCP的流量,讓AI在不知情的情況下,與駭客進行通訊。

結語:安全,是AI發展的護城河

這17種攻擊手法,提醒我們AI安全不再是單純的軟體安全問題,而是涉及提示、模型、工具、資料和整個協作鏈的複雜系統性挑戰。作為工程師,我們必須時刻保持警惕,從程式碼層面到架構設計,都將資安納入考量。

我們不能只關注AI的酷炫功能,更要為它築起堅固的防線。因為一個不安全的AI,最終將會是我們自己的敵人。

明天的文章,我們將繼續回到技術發展,聊聊AI如何從雲端走向實體,讓機器人不再只是科幻小說中的夢想。敬請期待!


上一篇
第八天:人形機器人的現實考驗 — 從中國馬拉松看其進步與挑戰
下一篇
第八天之三:AI晶片終極戰 — 從GPU到ASIC,誰是AI運算的未來霸主?
系列文
生成式AI洞察 (Generative AI Insights)13
圖片
  熱門推薦
圖片
{{ item.channelVendor }} | {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言