上一篇介紹了 Hidden Context Exposure，談的是原本隱藏在 AI 背後的 Context 被暴露，今天要看的 Sensitive Information Disclosure（敏感資訊洩漏），他是指 AI 在回答或處理資料的過程中，意外暴露了原本不應該被使用者取得的敏感資訊，範圍更廣，這些資訊可能包含個人資料、公司機密、API Key、帳號資訊、內部文件，甚至其他使用者的資料。

三星員工把公司機密輸入 ChatGPT

2023 年，Samsung Semiconductor 就曾發生生成式 AI 的資料外洩事件，Samsung 開放員工使用 ChatGPT 後，有員工將公司內部資料直接輸入 ChatGPT，希望 AI 協助工作，根據當時的報導，其中包含：

半導體設備相關的程式碼
用來除錯的內部 Source Code
內部會議內容

這代表公司原本的敏感資訊，被員工直接送進了外部生成式 AI 服務，Samsung 隨後開始限制員工使用生成式 AI，並限制輸入內容的長度，以降低類似資料外洩再次發生的可能性，這個案例和昨天的 Sydney 很不一樣，Sydney 是原本隱藏的 AI Context 被使用者取得，Samsung 則是公司敏感資料被使用者輸入外部 AI，因此 Sensitive Information Disclosure 不一定需要很複雜的攻擊，有時候最大的問題反而只是使用者把不該交給 AI 的資料交給了 AI，再來是 AI Application 能搜尋公司文件，但沒有正確檢查使用者權限，這時候就算模型本身完全正常，系統仍然可能造成敏感資訊洩漏，所以我們要思考到底該讓 LLM 接觸了哪些資料？AI 看得到，不代表使用者也應該看得到，這是 Sensitive Information Disclosure 很重要的一個觀念。

Sensitive Information Disclosure 不一定來自非常複雜的攻擊，資料可能因為使用者主動輸入、錯誤的權限設計，或 AI 接觸了不該接觸的敏感資訊而遭到暴露，因此在導入生成式 AI 時，除了思考 AI 可以做到什麼之外，還有一個更重要的問題是哪些資料根本不應該交給 AI？但如果攻擊者不是想辦法取得資料，而是反過來故意修改 AI 使用的資料呢？

下一篇就來介紹：Day 12｜Data & Model Poisoning：如果 AI 使用的資料本身被下毒了呢？