Day 24|Hidden Context Exposure 是什麼?
前面介紹了 Misinformation,今天來看看另一個問題:Hidden Context Exposure(隱藏 Context 暴露)。
簡單來說,就是 LLM Application 把原本不應該讓使用者看到的內部 Context 暴露出去。
以前我們比較常聽到的是 System Prompt Leakage(系統 Prompt 洩漏)。
例如 Application 可能在背後告訴 AI:
「你是一個公司的客服,只能回答產品相關問題。」
這段指令通常不是給使用者看的。
但實際上,LLM Application 裡的 Context 不只有 System Prompt。
還可能包含:
Developer Instructions
內部規則與政策
RAG 取出的文件內容
Tool / Function 的設定
AI 的其他內部 Context
這些內容通常是 AI 需要知道,但使用者不一定應該知道的資訊。
問題就在於,LLM 本身是透過自然語言處理這些 Context。
如果使用者嘗試透過對話、角色扮演或其他方式要求 AI 揭露內部內容,模型可能在某些情況下把原本隱藏的資訊說出來。
因此,Hidden Context Exposure 的核心問題可以理解成:
「AI 看得到的東西,不代表使用者也應該看得到。」
例如公司可能在 System Prompt 中放了內部流程、商業規則,甚至錯誤地把敏感資訊放進 Context。
一旦這些內容被成功提取,不只是「Prompt 被看到了」而已,也可能進一步讓攻擊者了解系統的運作方式。
這也是為什麼現在的範圍已經不只是單純的 System Prompt Leakage,而是擴大到各種非使用者可見的 Context。
所以 Hidden Context Exposure 可以濃縮成一句話:
AI 背後知道的事情很多,但不代表這些事情都應該告訴使用者。