iT邦幫忙

2026 iThome 鐵人賽

DAY 5
0
AI Security

30 天認識 AI Security:從 LLM 攻擊到 AI 防禦系列 第 5

Day 5|AI Security 與傳統 Web Security 有什麼不同?

  • 分享至 

  • xImage
  •  

上一篇介紹了 OWASP GenAI LLM Top 10 2026,我們接下來要繼續研究的是這些和傳統 Web Security 到底有什麼不同?畢竟我們前面提到的 Access Control、Input Validation、Supply Chain Security,其實早就在傳統 Web Security 中存在了,那為什麼現在還需要特別討論 AI Security?傳統 Web Security 又是在保護什麼?

一個簡單的網站可能會有這樣的架構:

User → Frontend → Backend → Database

攻擊者可能會嘗試從不同地方攻擊系統,例如:SQL Injection、XSS、Broken Access Control 等,因此 Web Security 很重要的一部分就是確保使用者不能執行原本不應該執行的操作,也不能取得原本沒有權限存取的資料,例如一個普通會員不能因為修改網址中的 userId,就看到其他人的個人資料,這些安全問題就算到了 AI 時代其實都還存在,加入 AI 並不代表原本的 Web Security 就消失了。

AI 加入之後,使用者輸入的自然語言本身就可能影響模型接下來的行為,也因此 AI Application 多了一個傳統 Web Application 比較沒有的問題,自然語言本身也可能成為攻擊的一部分,最大的差別在於輸入不只是「資料」,在傳統 Web Application 中通常會把使用者輸入視為「資料」,例如:

姓名:小明
Email:example@email.com
商品數量:3

而 LLM 接收到自然語言像是:

幫我整理這份文件,找出其中的重要資訊。

問題就在於自然語言既可以是資料也可以像指令,如果 AI 又能讀取 Email、PDF 或網頁,那麼惡意指令甚至不一定是使用者直接輸入的,也可能藏在 AI 讀取的外部內容中,這也是為什麼 Prompt Injection 會成為 LLM Security 中很重要的問題,重點就在 AI 真的可以做事情,如果 AI 只能聊天就算回答錯誤影響可能還比較有限。

現在的 AI Agent 已經可以透過 Tool Calling 進行各種操作,像是查詢 Database、修改檔案、呼叫 API 等,所以到了 AI Security ,權限控制與 Least Privilege(最小權限原則)會變得更加重要,這可能也是上一篇 OWASP Top 10 中 Excessive Agency 想提醒我們的問題。

所以 AI Security 和 Web Security 其實不算是兩套不同的東西,很多傳統資安觀念到了 AI Application 仍然非常重要,例如:

Web Security 原則 AI Application 一樣需要
Input Validation 檢查使用者與外部輸入
Access Control 限制 AI 可以存取的資料
Least Privilege 限制 AI 可以使用的工具與權限
Output Validation 不直接相信 AI 產生的內容
Logging 記錄 AI 與 Tool 的操作

真正不同的地方在於 AI 又增加了 Prompt、Context、Model、RAG、Embedding、Agent 等新的攻擊面,因此 AI Security 並不是把傳統 Security 全部推翻重來,而是在原本的 Application Security 基礎上,處理 AI 帶來的新風險。

OWASP 目前也分別維護 Web Application Top 10 與 GenAI LLM Top 10:前者關注 Web Application 的核心風險,後者則針對 LLM-powered applications 所面臨的重要風險。


這篇我們比較了 AI Security 與傳統 Web Security,其實很多熟悉的安全原則並沒有消失,不相信使用者輸入、做好權限控制、驗證資料、記錄系統行為,這些原則到了 AI Application 一樣重要,真正改變的是 AI 讓系統多出了新的攻擊面,Prompt 可以影響模型、RAG 可以讀取外部資料、Agent 可以操作工具,而 Model 本身的行為也不像傳統程式一樣完全由固定邏輯決定。

因此當我們分析一個 AI Application 是否安全時,就不能只看 Backend 和 Database,而要開始思考這個 AI 系統到底有哪些地方可以被攻擊?

這也就是下一篇要介紹的主題:

Attack Surface:AI 系統的攻擊面


上一篇
Day 4|OWASP Top 10 for LLM (2026)是什麼?
下一篇
Day 6|Attack Surface:AI 系統的攻擊面有哪些?
系列文
30 天認識 AI Security:從 LLM 攻擊到 AI 防禦24
圖片
  熱門推薦
圖片
{{ item.channelVendor }} | {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言