iT邦幫忙

鐵人檔案

2026 iThome 鐵人賽
回列表
AI Security

AI 時代的紅藍隊攻防:從 LLM 漏洞剖析到 AI Agent 安全實戰 系列

隨著生成式 AI 與 LLM(大型語言模型)的爆發性成長,AI 系統已深入企業與開發流程中。然而,AI 帶來的全新架構也誕生了前所未有的攻擊面——從 Prompt Injection、Jailbreaking 到 AI Agent 的權限控制與模型供應鏈漏洞,傳統資安防護已不足以完全涵蓋這些新型態威脅。

本系列文章將以 AI Security(AI 資安) 為核心,透過 30 天的實戰與案例分析,深入探索 AI 系統的漏洞剖析與防守策略。

參賽天數 10 天 | 共 10 篇文章 | 0 人訂閱 訂閱系列文 RSS系列文
DAY 1

Day 1:AI Security 概覽與安全範式轉移

傳統資安 vs. AI 資安:威脅模型的演進傳統資訊安全的核心奠基於確定性(Deterministic)邏輯:相同的程式碼輸入相同的資料,輸出結果必然一致。防禦...

DAY 2

Day 02:LLM 應用架構與威脅建模

現代 LLM 系統標準架構圖(Threat Architecture) 下圖展示了典型 Enterpise LLM 應用(包含 RAG 與 Agent)的資安防...

DAY 3

Day 03:Direct Prompt Injection(直接提示詞注入)與 Payload 構造

攻擊原理與原理解析 Direct Prompt Injection(又稱 Jailbreak 或 Direct Payload Injection)是指攻擊者直...

DAY 4

Day 04:Indirect Prompt Injection(間接提示詞注入)實戰

攻擊鏈與情境分析Indirect Prompt Injection 是當前企業級 AI 應用(特別是 RAG 與 Web Agent)最具威脅的漏洞類型。攻擊...

DAY 5

Day 05:Prompt 繞過進階技巧與防衛解法

進階繞過技巧(Bypass Techniques) Hypothetical & Adversarial Reframing(假設性逆向構建)...

DAY 6

Day 06:Jailbreaking(越獄技術)演進與虛擬情境攻擊

Jailbreaking vs. Prompt Injection 的差異許多人容易混淆這兩者,但它們在目標與防範機制上有明確區別: Prompt Inj...

DAY 7

Day 07:自動化 Fuzzing 越獄與演算法攻擊

自動化越獄的興起 手動撰寫越獄 Payload 耗時且容易因模型更新而失效。現代資安研究轉向利用演算法自動生成與尋找對抗性樣本(Adversarial At...

DAY 8

Day 08:LLM01提示詞注入 (Prompt Injection)/LLM02 敏感資訊洩漏(Sensitive Information Disclosure)

攻擊原理與洩漏途徑LLM 敏感資訊洩漏是指模型在回應中意外公開了不應對外暴露的資料。洩漏來源主要分為三大類: 訓練資料記憶化(Training Data M...

DAY 9

Day 09:LLM03 Supply Chain Vulnerabilities(供應鏈漏洞 ) 與 LLM04 Data Poisoning(資料污染)

攻擊原理與鏈條Data Poisoning 是針對 AI 生命週期最前期(訓練與微調)的攻擊。攻擊者透過在訓練集、預訓練 Corpus 或 Fine-tuni...

DAY 10

Day 10:LLM05 Improper Output Handling(輸出驗證不當)與 downstream 攻擊

攻擊原理Improper Output Handling 是指 LLM 產生的文字未經任何過濾與轉義(Sanitization),就直接傳遞給前端渲染或後端系...