iT邦幫忙

鐵人檔案

2026 iThome 鐵人賽
回列表
AI Security

Medical AI Security Lab:醫療 AI Chatbot 的攻防實驗與自動化 Red Team 系列

近年來,LLM 逐漸進入醫療應用,也帶來 Prompt Injection、資料外洩、模型濫用等新型資安風險。本系列將建立虛構醫療 AI Chatbot,結合 OWASP、NIST 與 MITRE 框架探討 AI 攻防。內容涵蓋 Prompt Injection、Jailbreak、Indirect Prompt Injection 等攻擊實驗,並導入 Input Validation、Access Control、Audit Logging 等防禦機制,以及 Promptfoo 自動化 Red Team 測試。最終透過 Benchmark 與資安檢查清單,評估防禦效果。

參賽天數 22 天 | 共 22 篇文章 | 0 人訂閱 訂閱系列文 RSS系列文 |團隊AI Lab 404
DAY 21

Day21|Audit Logging + 陽春 Dashboard:讓「防禦有沒有生效」這件事看得見

今天要解決的問題Day19 留了一個已知但沒修的洞——重述職責範圍繞過 Output Validation,規則被講出來了。Day20 立好了存取控制的門禁,但...

2026-10-05 ‧ 由 misantropia 分享
DAY 22

Day22|為什麼手動紅隊測試終究會碰到天花板

前言從 Day9 開始手動設計紅隊題目,到 Day21 疊完三層防禦,中間經歷了十幾天、累積了快 60 題測試、改了三版 System Prompt、修過兩次自...

2026-10-06 ‧ 由 misantropia 分享