iT邦幫忙

2026 iThome 鐵人賽

DAY 24
0
AI Security

淺談OWASP Top 10 for Large Language Model Applications系列 第 24 篇

淺談OWASP Top 10 for LLM Applications-Hidden Context Exposure 是什麼

  • 分享至 

  • xImage
  •  

Day 24|Hidden Context Exposure 是什麼?

前面介紹了 Misinformation,今天來看看另一個問題:Hidden Context Exposure(隱藏 Context 暴露)。

簡單來說,就是 LLM Application 把原本不應該讓使用者看到的內部 Context 暴露出去。

以前我們比較常聽到的是 System Prompt Leakage(系統 Prompt 洩漏)。

例如 Application 可能在背後告訴 AI:

「你是一個公司的客服,只能回答產品相關問題。」

這段指令通常不是給使用者看的。

但實際上,LLM Application 裡的 Context 不只有 System Prompt。

還可能包含:

Developer Instructions

內部規則與政策

RAG 取出的文件內容

Tool / Function 的設定

AI 的其他內部 Context

這些內容通常是 AI 需要知道,但使用者不一定應該知道的資訊。

問題就在於,LLM 本身是透過自然語言處理這些 Context。

如果使用者嘗試透過對話、角色扮演或其他方式要求 AI 揭露內部內容,模型可能在某些情況下把原本隱藏的資訊說出來。

因此,Hidden Context Exposure 的核心問題可以理解成:

「AI 看得到的東西,不代表使用者也應該看得到。」

例如公司可能在 System Prompt 中放了內部流程、商業規則,甚至錯誤地把敏感資訊放進 Context。

一旦這些內容被成功提取,不只是「Prompt 被看到了」而已,也可能進一步讓攻擊者了解系統的運作方式。

這也是為什麼現在的範圍已經不只是單純的 System Prompt Leakage,而是擴大到各種非使用者可見的 Context。

所以 Hidden Context Exposure 可以濃縮成一句話:

AI 背後知道的事情很多,但不代表這些事情都應該告訴使用者。


上一篇
淺談OWASP Top 10 for LLM Applications-Misinformation 要怎麼防
下一篇
淺談OWASP Top 10 for LLM Applications-Hidden Context Exposure 要怎麼防
系列文
淺談OWASP Top 10 for Large Language Model Applications 共 25 篇
圖片
  熱門推薦
圖片
{{ item.channelVendor }} | {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言