—— 你的 Pipeline，可能是攻擊者的最佳 Playground。

對象：AI 工程師、架構師、資安團隊
主題關鍵詞：LLM Framework｜LangChain｜LlamaIndex｜Pipeline Security｜攻防場景

💬 開場：框架強大，風險也更大

LangChain 與 LlamaIndex 已經成為企業建置 LLM 應用的「快速框架」。
但它們也讓攻擊面暴增：模組多、串接雜、權限大，一旦缺乏安全設計，Pipeline 直接變成攻擊者樂園。

🧠 常見風險地圖

🛡️ 安全設計五原則

1. 最小權限 (Least Privilege)

   • 工具能力最小化，DB 查詢只能讀取特定 schema。
   • Agent 禁止直接存取 Shell 或 OS 命令。

2. 輸入驗證 (Input Validation)

   • 對用戶 Prompt、文件、API 輸入做正則與過濾。
   • 引入 Prompt Sanitizer 模組。

3. 上下文隔離 (Context Isolation)

   • User Prompt 與 System Prompt 分離。
   • 不允許動態拼接 System Prompt。

4. 審計與追蹤 (Auditability)

   • Pipeline 每次呼叫工具都需紀錄：who、what、why。
   • TraceID 追蹤完整鏈路。

5. 紅隊測試 (Red Teaming)

   • 定期對 Pipeline 做惡意注入測試。
   • 模擬對抗樣本，例如惡意 RAG 文檔。

🧰 工程實作建議

LangChain 工具註冊（Python）

from langchain.agents import Tool

def safe_sql_query(query:str):
    if "drop" in query.lower():
        raise ValueError("Dangerous query blocked!")
    # 僅允許 SELECT
    return db.run_readonly(query)

tools = [
    Tool(name="safe-sql", func=safe_sql_query, description="Read-only DB access")
]

LlamaIndex 檔案前處理

from llama_index import SimpleDirectoryReader

def sanitize_text(text:str)->str:
    return text.replace("password","[REDACTED]")

docs = SimpleDirectoryReader("data", file_metadata=lambda x:{"sanitized":True}).load_data()
sanitized_docs = [sanitize_text(d.text) for d in docs]

Pipeline 守護（Pydantic 驗證）

from pydantic import BaseModel, constr

class UserQuery(BaseModel):
    question: constr(strip_whitespace=True, min_length=3, max_length=500)

q = UserQuery(question="SELECT * FROM users;")  # 驗證不合格將報錯

📊 KPI / SLO 指標

• Prompt Injection Block Rate
• Least Privilege Coverage（工具是否全數降權）
• Context Isolation Score（System/User prompt 拼接檢測）
• Audit Log Completeness（工具呼叫可追溯比例）
• Red Team Findings Closure（紅隊測試修補率）

🎭 工程師小劇場

PM：LangChain 幫我們接好了十個工具，超方便！
你：方便 ≠ 安全。現在 Agent 已經可以幫攻擊者打開你的生產資料庫。

🎯 小結

框架只是加速器，不是防火牆。
LangChain / LlamaIndex 提供了高彈性，但安全邊界要自己建。
落實最小權限、上下文隔離、審計追蹤，再加上紅隊測試，才能把 AI Pipeline 從「遊樂場」升級為「安全工廠」。

🔮 明日預告：Day 19｜RAG 安全陷阱

深入探討 RAG（檢索增強生成）的弱點：越權檢索、毒化文檔、隱私洩露。