近年來,LLM 逐漸進入醫療應用,也帶來 Prompt Injection、資料外洩、模型濫用等新型資安風險。本系列將建立虛構醫療 AI Chatbot,結合 OWASP、NIST 與 MITRE 框架探討 AI 攻防。內容涵蓋 Prompt Injection、Jailbreak、Indirect Prompt Injection 等攻擊實驗,並導入 Input Validation、Access Control、Audit Logging 等防禦機制,以及 Promptfoo 自動化 Red Team 測試。最終透過 Benchmark 與資安檢查清單,評估防禦效果。
今天要解決的問題Day19 留了一個已知但沒修的洞——重述職責範圍繞過 Output Validation,規則被講出來了。Day20 立好了存取控制的門禁,但...
前言從 Day9 開始手動設計紅隊題目,到 Day21 疊完三層防禦,中間經歷了十幾天、累積了快 60 題測試、改了三版 System Prompt、修過兩次自...