上一篇比較了 AI Security 與傳統 Web Security，發現很多原本的資安觀念到了 AI 時代依然重要，不同的是，當 LLM、RAG、AI Agent 等技術加入系統後，帶來新的攻擊面，如果今天我們真的要攻擊或保護一個 AI Application，到底應該從哪些地方開始看，這就會牽涉到一個資安中很重要的概念 —— Attack Surface（攻擊面）。
Attack Surface 可以理解成一個系統中攻擊者可能嘗試進行攻擊的所有入口與接觸點。
例如傳統網站攻擊者可能從登入頁面、API、使用者輸入、權限設定、Server 或 Database 等不同地方尋找弱點，這些可能被利用的地方，合起來就是這個系統的 Attack Surface，而通常系統功能越多、連接的服務越多，Attack Surface 也可能跟著變大。
加入 AI 之後，系統可能變成：
User → Application → LLM → RAG → Database → Tool / API → External System
這時候我們要保護的地方也變多了，可以簡單拆成幾個部分來看：
第一個就是使用者輸入給 AI 的內容，LLM 的行為會受到 Prompt 與 Context 影響，因此攻擊者可能透過惡意 Prompt 嘗試改變模型原本的行為。
現在的 AI 不一定只接收使用者輸入，也可能讀取各種資料，而這些外部資料不一定可信，假設 AI 自動讀取了一封 Email，而 Email 中藏著給 AI 的惡意指令，模型就可能受到影響，所以攻擊者可以直接先污染 AI 會讀取的資料。
模型本身也是 AI 系統的一部分，例如企業可能使用第三方模型、開源模型，或經過 Fine-tuning 的模型，這時候就需要考慮**模型從哪裡來？訓練或 Fine-tuning 使用的資料可信嗎？第三方模型是否可能被竄改？**這些問題和上一篇介紹過的 Supply Chain 與 Data and Model Poisoning 有關。
如果 AI 使用 RAG 讀取企業內部資料，資料存取本身也會成為重要的攻擊面。
例如：A 部門的員工能不能透過 AI 搜尋到 B 部門的機密文件？
或是：一般使用者能不能要求 AI 取得只有管理員才能查看的資料？
所以即使 LLM 本身沒有被攻破，如果後面的資料權限沒有設計好，還是可能造成資料外洩。
現在的 AI Agent 不只是能回答問題，還能操作各種資料，AI 能使用的工具越多，一旦受到攻擊可能造成的影響也越大，例如一個 AI 只有「查詢訂單」的能力，和一個同時擁有「修改、退款、刪除訂單」能力的 AI，風險就完全不同。
最後一個就是 AI 的輸出，LLM 產生的內容並不一定安全，如果系統直接把 AI Output 交給其他程式執行而中間完全沒有驗證，就可能產生新的安全問題，這是 OWASP Top 10 中提到的 Improper Output Handling。
攻擊者可以在任何一個環節尋找弱點，甚至可能利用其中一個弱點去影響下一個系統，這時候真正造成問題的其實是一整條攻擊路徑，而不是單一漏洞。
我覺得也不一定，系統功能多，本身並不代表系統一定不安全，真正重要的是每增加一個功能或連接點就要思考它帶來了哪些新的風險。
例如當我們讓 AI 可以使用一個新的 Tool 時，就可以開始思考：
這些問題，就是分析 AI Attack Surface 時需要思考的事情。
這篇我們認識了 Attack Surface（攻擊面），傳統 Web Application 可能需要保護 Frontend、Backend、API 與 Database，而 AI Application 加入 LLM 之後，又多出了很多新的攻擊面，所以分析 AI Security 時要想整個 AI 系統有哪些地方可能被攻擊？不過知道攻擊面在哪裡之後，下一個問題就是：
我們要怎麼有系統地判斷哪些攻擊最可能發生？又應該優先保護哪些地方？
下一篇來介紹 Threat Modeling（威脅建模），看看我們可以如何站在攻擊者的角度去分析一個 AI 系統可能面臨哪些威脅。
iThome鐵人賽
看影片追技術