iT邦幫忙

2026 iThome 鐵人賽

DAY 19
0
AI Security

我做了一個Claude skill的掃毒軟體學到的那些事系列 第 28 篇

大家以為拔掉網路線、把 Agent 鎖在地端 NAS 就安全了,結果它轉身就成了替外人偷看機密的內鬼。

  • 分享至 

  • xImage
  •  

地端部署真的安全嗎?我想給正在打造地端 AI,或是採用 Hybrid 架構(雲端加地端)的夥伴,提供幾個關於地端安全的思考方向,包含以下重點:

1. 最小權限與動態權限

最小權限是指,當你叫 AI 去做一件事時,它應該只擁有完成該任務所需的權限。比如說,你叫它讀一份簡報並說明重點,它就只該有讀取這份簡報的權限,而不該擁有存取其他資料夾、或向外部傳送資料的權限。

動態權限則是搭配最小權限的機制:這次的指令需要執行特定任務,它就只獲得對應的權限;下次換成不同的指令,再動態賦予不同的權限。

2. 信任邊界

LLM 在理解資料時,會先把文字切成一個個 token(詞元,模型處理文字的最小單位),再轉換成向量。也就是把每個 token 對應到多維度(甚至上千維度)空間中的座標,從數學上幫助 LLM 理解每個字詞的含義。但因為模型是把所有 token 放在一起運算,原本的資料來源標記,或是「資料」與「指令」之間的分隔,對模型來說都只是同一串輸入中的一部分,很可能會被忽略或淡化。

這會導致 AI 無法明確區分何者是指令、何者是資料。如果外部資料來源夾帶了惡意指令(Prompt Injection,提示詞注入),資料就可能受到污染,進而讓 AI 做出非預期的行為。

要避免這種情況,就必須設計「信任邊界」,明確區分哪些屬於不可信的外部資料。例如,透過一個唯讀的 AI Agent 單純讀取該資料、標註資料來源,並將其整理成 Excel 或 Markdown 格式。這樣做能幫助 AI 更好地閱讀理解,避免把資料誤當成指令,同時也能將不同來源的資料做好區隔與分析。

另外,我認為兩個 AI Agent 之間可能需要一個 Gateway(閘道)來進行資料檢查,確保傳遞的資料中沒有夾帶 Prompt Injection。這個 Gateway 可以透過 Guardrail(護欄機制)或 Policy(政策規則)的方式來實作。

但這個 Gateway 不只應該檢查「文字有沒有注入風險」,更關鍵的是要檢查「工具呼叫的 Intent(意圖)與 Payload(內容)」。例如:限制它不能帶著 NAS 內部路徑去呼叫外網 API,或是比對當前動作是否符合先前動態核發的權限憑證(Access Token)範圍。


上一篇
# 直攻檢索漏洞:語意模糊也能偷看機密?向量資料庫弱點與權限感知檢索(Permission-Aware Retrieval)
下一篇
當 Agent 碰到真實個資:從名片自動化看 PII 偵測與遮蔽(LLM02)」
系列文
我做了一個Claude skill的掃毒軟體學到的那些事 共 30 篇
圖片
  熱門推薦
圖片
{{ item.channelVendor }} | {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言