iT邦幫忙

2026 iThome 鐵人賽

DAY 4
0
AI Security

淺談OWASP Top 10 for Large Language Model Applications系列 第 4

淺談OWASP Top 10 for LLM Applications-舊版比較

  • 分享至 

  • xImage
  •  

Day 4|前一篇我們簡單認識了 OWASP Top 10 for LLM Applications,也快速看過 2026 版的十大風險。

不過如果有接觸過 OWASP LLM Top 10 的人,可能會發現一件事:

2026 版和 2025 版並不是完全一樣。

為什麼每年都需要更新?

因為 LLM Application 的發展速度非常快。

從單純的 Chatbot,到現在常見的 RAG、AI Agent、Tool Calling,以及各種企業內部 AI Application,LLM 在系統中的角色正在不斷改變。

因此,OWASP 也會根據新的技術發展、實際事件與社群經驗,持續調整 Top 10 的內容。

2025年版本如下
LLM01:2025 Prompt Injection

提示注入
攻擊者透過設計特殊的 Prompt,誘導 LLM 忽略原本的指令,執行攻擊者要求的內容。簡單來說,就是「讓 AI 聽攻擊者的話」。

LLM02:2025 Sensitive Information Disclosure

敏感資訊洩漏
LLM 在回應使用者時,可能意外洩漏個人資料、機密文件、API Key、系統資訊等敏感內容。

LLM03:2025 Supply Chain

供應鏈風險
LLM Application 可能依賴第三方模型、資料集、套件或其他元件。如果其中某個環節遭到竄改或存在安全問題,就可能影響整個 AI 系統。

LLM04:2025 Data and Model Poisoning

資料與模型中毒
攻擊者透過污染訓練資料、微調資料或其他模型相關資料,讓模型學習到錯誤或惡意的內容,進而影響模型的行為。

LLM05:2025 Improper Output Handling

不當處理模型輸出
LLM 產生的內容不能直接被當成可信任的資料使用。如果 Application 沒有適當驗證或處理模型輸出,可能進一步造成 XSS、SQL Injection 或其他安全問題。

LLM06:2025 Excessive Agency

過度代理權限
當 LLM 被賦予太多權限,例如可以呼叫 API、操作資料庫或執行系統功能時,如果模型受到操控,就可能執行超出預期的操作。

LLM07:2025 System Prompt Leakage

系統 Prompt 洩漏
Application 通常會透過 System Prompt 告訴 LLM 它的角色、規則或限制。如果這些內容被攻擊者誘導取得,可能暴露系統設計與安全規則。

LLM08:2025 Vector and Embedding Weaknesses

向量與 Embedding 弱點
RAG 等 LLM Application 會利用 Embedding 和 Vector Database 儲存、搜尋資料。如果向量化、儲存或檢索機制存在問題,可能導致錯誤資料被取出或敏感資訊遭到存取。

LLM09:2025 Misinformation

錯誤資訊
LLM 可能產生看似合理但實際上錯誤的內容,也就是常說的「幻覺(Hallucination)」。如果 Application 沒有適當驗證,錯誤資訊可能進一步影響使用者的判斷或系統決策。

LLM10:2025 Unbounded Consumption

無限制資源消耗
攻擊者可以透過大量或特殊設計的請求,讓 LLM 持續消耗大量 Token、運算資源或 API 額度,造成成本增加、服務變慢甚至拒絕服務。

如果只看 2026 版的十大項目,可能會覺得:

「不就是十個資安風險嗎?」

但把 2025 和 2026 放在一起看,就會發現 OWASP 對 LLM Security 的理解也正在隨著 AI 技術發展而改變。

這也可以幫助我們理解

LLM Security 到底正在往哪個方向發展


上一篇
淺談OWASP Top 10 for LLM Applications-簡介
下一篇
淺談OWASP Top 10 for LLM Applications-Prompt Injection 是什麼
系列文
淺談OWASP Top 10 for Large Language Model Applications10
圖片
  熱門推薦
圖片
{{ item.channelVendor }} | {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言