iT邦幫忙

2026 iThome 鐵人賽

DAY 14
0
AI Security

影子 IT 與他們的產地 - AI 時代的影子 IT 資安議題與應對之道系列 第 14 篇

失控的自走魔像:當 AI「使命必達」到自己繞過企業防禦機制

  • 分享至 

  • xImage
  •  

在哈利波特第七集的霍格華茲大戰中,麥教授曾經將霍格華茲所有石像、盔甲,變為可以活動並聽命守護霍格華茲的防衛部隊。這樣的自走石像,概念上跟猶太傳說中,由黏土捏成的魔像(Golem)一樣,他們只會一板一眼的聽命行事,而沒有自己的判斷與意識。

目前進入我們工作場域的 AI Agent,雖然看似有一定的判斷與決策能力,但其實它們的本質還是很像 Golem,最大也是唯一的行為目標,就是達成使用者的要求。除了系統內建的道德限制外,可以說是完全沒有任何其他的行為規範。

正如同前幾篇說過的,這些 AI Agent 對於企業內部的習慣與規範是一無所知的。所以當他們發現某些操作在企業內部網路環境中行不通,他們不會去向回報使用者遇到問題無法進行。而是會像 Golem 一樣,試圖找方法突破限制。

於是為了達成使用者的需求,AI Agent 就化身成為影子 IT,試圖在企業內部的防火牆上打洞,或是利用各種手段繞過公司既有的資安管制。例如將資訊進行混淆、編碼以避開偵測,或是借道其他合法管道做為跳板,以存取原本無法直接存取的系統及服務。不同於 AI 要求使用者進行不合規的操作,在這個情境下 AI Agent 可能是在使用者完全不知情的情況下,就繞過了企業的防範機制。

前陣子 OpenAI 的 AI Agent 自主攻擊了 HuggingFace 也是一個這樣的案例。原本應該被管制在實驗沙箱中的 AI Agent 們,自己找出了環境中各種漏洞、或是利用既有且可用的旁路,做出與原本不被允許的行為。

在現階段,企業能做到最好的,恐怕還是只有利用 System Prompt 來嚴格規範 AI Agent 的行為。然而這樣的 System Prompt 仍然有可能在內文壓縮(Comtext Compression)的過程中被改動或丟失,因此仍然不是絕對有效的方式。怎麼有效的規範 AI Agent 行為,對企業而言仍然是一個挑戰。


上一篇
蠻橫咒現身:Prompt Injection 如何遠端劫持影子 Agent
系列文
影子 IT 與他們的產地 - AI 時代的影子 IT 資安議題與應對之道 共 14 篇
圖片
  熱門推薦
圖片
{{ item.channelVendor }} | {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言