iT 邦幫忙::一起幫忙解決難題，拯救 IT 人的一天

0 Like 0 留言 42 瀏覽

鐵人賽 AI Security DAY 12

從 LLM、Agent 到 Guardrails：30 天打造可控、安全、可驗證的 AI Agent 系列第 12 篇

技術 Day 12｜塞進更多 Context 後，Agent 為什麼反而更笨了？

Day 10 我先把 context 的來源分開，Day 11 再把惡意 SOP 擋在模型外面。做到這裡，我原本很自然地想：既然不可信內容已經過濾，那多放一點歷...

justin_log ‧ 2026-09-26 ‧團隊nutc imac

0 Like 0 留言 26 瀏覽

鐵人賽 AI Security DAY 11

從 LLM、Agent 到 Guardrails：30 天打造可控、安全、可驗證的 AI Agent 系列第 11 篇

技術 Day 11｜RAG 最危險的不是幻覺，而是它把資料當成命令

Day 11｜RAG 最危險的不是幻覺，而是它把資料當成命令 Day 10 我把 system prompt、使用者訊息、RAG 文件和 tool result...

justin_log ‧ 2026-09-25 ‧團隊nutc imac

0 Like 0 留言 69 瀏覽

鐵人賽 AI Security DAY 10

從 LLM、Agent 到 Guardrails：30 天打造可控、安全、可驗證的 AI Agent 系列第 10 篇

技術 Day 10｜我把使用者訊息和文件混在一起後，Agent 開始分不清誰才是老闆

在 Day 6 拆 Agent loop 時，一直卡在同一件事：模型下一輪看到的東西，會同時包含 system prompt、使用者訊息、SOP 查詢結果和工具...

justin_log ‧ 2026-09-24 ‧團隊nutc imac

0 Like 0 留言 64 瀏覽

鐵人賽 AI Security DAY 9

從 LLM、Agent 到 Guardrails：30 天打造可控、安全、可驗證的 AI Agent 系列第 9 篇

技術 Day 9｜我只改了一句 Prompt，Agent 卻多叫了四次工具

前幾天我把 Promptfoo 放進這個專案時，主要是在看結果：有沒有建立 mock 工單、越權工具是否不存在、SOP 壞掉時有沒有假裝成功。這些測試還不夠。...

justin_log ‧ 2026-09-23 ‧團隊nutc imac

0 Like 0 留言 69 瀏覽

鐵人賽 AI Security DAY 8

從 LLM、Agent 到 Guardrails：30 天打造可控、安全、可驗證的 AI Agent 系列第 8 篇

技術 Day 8｜重試不是保險：Agent 如何把一個錯誤變成事故

Day 4 做完 timeout、退避重試和降級後，我本來以為這件事差不多收工了：SOP 查不到，最多重試幾次，然後不要開工單。但那只限制了「同一個請求」。如...

justin_log ‧ 2026-09-22 ‧團隊nutc imac

0 Like 0 留言 60 瀏覽

鐵人賽 AI Security DAY 7

從 LLM、Agent 到 Guardrails：30 天打造可控、安全、可驗證的 AI Agent 系列第 7 篇

技術 Day 7｜Agent 不肯停下來：它能在幾分鐘內燒掉多少 Token？

Day 6 的 recursion_limit 解決了一件事：graph 不該無限繞圈。但我很快發現，step 數根本不能回答「這次到底花了多少」。一次 ste...

justin_log ‧ 2026-09-21 ‧團隊nutc imac

0 Like 0 留言 38 瀏覽

鐵人賽 AI Security DAY 6

從 LLM、Agent 到 Guardrails：30 天打造可控、安全、可驗證的 AI Agent 系列第 6 篇

技術 Day 6｜AI Agent 不是在思考，它其實是在不斷試錯

我一開始把 Agent 想得太像一個會「理解整個任務」的助手。實際把 Helpdesk Agent 拆開後，感覺比較像一個不停改變狀態的程式：模型看見目前資料，...

justin_log ‧ 2026-09-20 ‧團隊nutc imac

0 Like 0 留言 58 瀏覽

鐵人賽 AI Security DAY 5

從 LLM、Agent 到 Guardrails：30 天打造可控、安全、可驗證的 AI Agent 系列第 5 篇

技術 Day 5｜我還沒讓 Agent 上線，先用 Promptfoo 打它一拳

前四天，我把這個練習專案拆得很保守：它只能查 mock SOP，然後在記憶體裡建立 mock 工單。但程式能動，不代表我知道它會不會在改一行 prompt、補...

justin_log ‧ 2026-09-19 ‧團隊nutc imac

0 Like 1 留言 84 瀏覽

鐵人賽 AI Security DAY 4

從 LLM、Agent 到 Guardrails：30 天打造可控、安全、可驗證的 AI Agent 系列第 4 篇

技術 Day 4｜工具壞掉後，Agent 沒停下來，反而把問題越搞越大

工具失敗時，Agent 最危險的反應往往不是回覆錯誤，而是把同一個請求又送了一次。 Day 3 我只讓 Agent 查 mock SOP、建立 mock 工...

justin_log ‧ 2026-09-18 ‧團隊nutc imac

0 Like 2 留言 82 瀏覽

鐵人賽 AI Security DAY 3

從 LLM、Agent 到 Guardrails：30 天打造可控、安全、可驗證的 AI Agent 系列第 3 篇

技術 Day 3｜給 Agent 一把萬用 API Key 後，我才發現它什麼都能做

同一把 API Key 同時能查資料、開工單、重設帳號、寄通知時，Agent 的工具清單就不再只是功能清單。我沒有公司的 API Key。這個專案用的是...

justin_log ‧ 2026-09-17 ‧團隊nutc imac

2 Like 1 留言 71 瀏覽

鐵人賽 AI Security DAY 2

從 LLM、Agent 到 Guardrails：30 天打造可控、安全、可驗證的 AI Agent 系列第 2 篇

技術 Day 2｜30 分鐘做出第一個會開工單的 AI Agent：它已經能替你動手了

今天我先做一個故意很單純的版本：它會開工單，但還不安全。昨天我先把「Agent 有工具以後會出什麼事」講清楚。今天我不急著加 Guardrails，反而先...

justin_log ‧ 2026-09-16 ‧團隊nutc imac

0 Like 0 留言 104 瀏覽

鐵人賽 AI Security DAY 28

AI 黑魔法：30 天拆解 AI 系統攻擊面（重啟）系列第 28 篇

技術 AI 黑魔法（28）：隱私、治理與法規，攻擊之外你該知道的事

上一篇看的是怎麼規劃一次 AI 安全檢測，這篇換到攻擊之外的隱私、治理跟法規。 2023 年 3 月三星開放半導體部門的工程師用 ChatGPT，不到三個星期，...

Vivian ‧ 2026-09-16

0 Like 0 留言 80 瀏覽

鐵人賽 AI Security DAY 27

AI 黑魔法：30 天拆解 AI 系統攻擊面（重啟）系列第 27 篇

技術 AI 黑魔法（27）：怎麼規劃一次 AI 安全檢測？從 Attack Surface 到 Checklist

上一篇看的是 Agent 的權限、記憶誰能寫、MCP Server 跟模型檔這四道防線，這篇把它們收成一份可以照著走的流程。如果有人請你去看一個 AI 系統安不...

Vivian ‧ 2026-09-15

0 Like 0 留言 109 瀏覽

鐵人賽 AI Security DAY 26

AI 黑魔法：30 天拆解 AI 系統攻擊面（重啟）系列第 26 篇

技術 AI 黑魔法（26）：縱深防禦（二），Agent、MCP 跟模型檔的防線

上一篇看的是 Prompt Injection 防護做在哪幾層，這篇我們來看 OWASP 的第 8 到 10 條建議，Agent 手上能同時碰哪些東西、它的記憶...

Vivian ‧ 2026-09-14

0 Like 0 留言 156 瀏覽

鐵人賽 AI Security DAY 25

AI 黑魔法：30 天拆解 AI 系統攻擊面（重啟）系列第 25 篇

技術 AI 黑魔法（25）：縱深防禦（一），Prompt Injection 防護要做在哪幾層？

上一篇看的是 garak 怎麼自動對模型跑一輪弱掃，這篇換到防守，看 Prompt Injection 防護要做在哪幾層。 AI 黑魔法（07）講過，對模型來...

Vivian ‧ 2026-09-13

0 Like 0 留言 135 瀏覽

鐵人賽 AI Security DAY 24

AI 黑魔法：30 天拆解 AI 系統攻擊面（重啟）系列第 24 篇

技術 AI 黑魔法（24）：讓工具替你掃，garak 自動化紅隊

上一篇看的是六種只靠送查詢就打得了的攻擊，這篇換工具上場，把攻擊交給 garak 來執行。 garak 是 Red Team 工具，設計目的是用來測試模型安全性...

Vivian ‧ 2026-09-12

0 Like 0 留言 128 瀏覽

鐵人賽 AI Security DAY 23

AI 黑魔法：30 天拆解 AI 系統攻擊面（重啟）系列第 23 篇

技術 AI 黑魔法（23）：AI 會說溜嘴，也會看走眼

上一篇看的是攻擊者怎麼把模型教壞，從資料投毒一路做到只有特定 Trigger 才發作的後門，這篇換成一個從頭到尾都乾淨的模型，攻擊者不碰權重，只是不斷送查詢進去...

Vivian ‧ 2026-09-11

0 Like 0 留言 126 瀏覽

鐵人賽 AI Security DAY 22

AI 黑魔法：30 天拆解 AI 系統攻擊面（重啟）系列第 22 篇

技術 AI 黑魔法（22）：從源頭下毒到藏後門，資料投毒與後門模型

上一篇看的是模型、Tokenizer 與設定檔在交付途中有沒有被換掉，這篇看資料本身，有毒的資料是怎麼被模型學進去，最後是怎麼成長為只有特定 Trigger 才...

Vivian ‧ 2026-09-10

0 Like 0 留言 136 瀏覽

鐵人賽 AI Security

LLM 應用資安：從 Prompt Injection 到 AI Red Teaming 系列第 31 篇

技術 LLM 應用資安怎麼學：從威脅地圖、攻擊靶場到紅隊工具

查核資訊：本文於 2026-08-25 重新確認各項資源的官方頁面。OWASP 清單、靶場內容、模型版本與工具介面都可能變動；開始練習前，仍應回到官方文件確...

Eric ‧ 2026-09-09

0 Like 0 留言 105 瀏覽

鐵人賽 AI Security DAY 21

AI 黑魔法：30 天拆解 AI 系統攻擊面（重啟）系列第 21 篇

技術 AI 黑魔法（21）：下載模型就中招？惡意模型檔與供應鏈攻擊

上一篇從模型服務出發，看的是模型呼叫用了誰的權限、花了誰的預算、碰到誰的資料，都要查得到，這篇看下載回來的模型檔案本身乾不乾淨。從 Model Hub 或供應...

Vivian ‧ 2026-09-09

2 Like 0 留言 80 瀏覽

鐵人賽 AI Security DAY 1

從 LLM、Agent 到 Guardrails：30 天打造可控、安全、可驗證的 AI Agent 系列第 1 篇

技術 Day 1｜我只是讓 AI 幫忙開工單，最後它差點變成公司管理員

這個系列會從一個能開 IT 工單的 Agent 出發，慢慢補上它真正需要的安全邊界。我還是學生，沒有真的在公司處理 Helpdesk，也沒有 Jira、內...

justin_log ‧ 2026-09-15 ‧團隊nutc imac

0 Like 0 留言 143 瀏覽

鐵人賽 AI Security DAY 30

LLM 應用資安：從 Prompt Injection 到 AI Red Teaming 系列第 30 篇

技術總結：LLM 應用安全檢查清單與心法

查核資訊：本文於 2026-08-25 查核 NIST AI Risk Management Framework、NIST AI 600-1、NIST SP...

Eric ‧ 2026-09-08

0 Like 0 留言 113 瀏覽

鐵人賽 AI Security DAY 20

AI 黑魔法：30 天拆解 AI 系統攻擊面（重啟）系列第 20 篇

技術 AI 黑魔法（20）：模型服務正常運作，帳單、資料與 Host 怎麼還是出事了？

上一篇用 Tool Poisoning 打了三關，只要改掉 MCP 的工具描述，就可能讓 Agent 把 email 和整段聊天紀錄塞進原本不該出現的參數。我...

Vivian ‧ 2026-09-08

0 Like 0 留言 74 瀏覽

鐵人賽 AI Security DAY 19

AI 黑魔法：30 天拆解 AI 系統攻擊面（重啟）系列第 19 篇

技術 AI 黑魔法（19）：MCP Tool Poisoning 實戰

AI 黑魔法（16）把 MCP 的三種角色與信任邊界講完，AI 黑魔法（17）講過工具定義本身就是攻擊面，這篇我們來直接拿 MCP Tool Poisoni...

Vivian ‧ 2026-09-07

0 Like 0 留言 140 瀏覽

鐵人賽 AI Security DAY 29

LLM 應用資安：從 Prompt Injection 到 AI Red Teaming 系列第 29 篇

技術 AI Red Teaming 實戰：自動化攻擊測試

查核資訊：本文於 2026-08-25 查核 NIST 的 AI Red Teaming 定義、NVIDIA garak 與 Microsoft PyRIT...

Eric ‧ 2026-09-07

0 Like 0 留言 91 瀏覽

鐵人賽 AI Security DAY 18

AI 黑魔法：30 天拆解 AI 系統攻擊面（重啟）系列第 18 篇

技術 AI 黑魔法（18）：批准一次就永久信任？MCP Client 的攻擊面

上一篇從 MCP Server 出發，看 Tool Poisoning 與傳統 API 漏洞，這篇換到 Client。 Client 要跟 Server 連線、...

Vivian ‧ 2026-09-06

0 Like 0 留言 138 瀏覽

鐵人賽 AI Security DAY 17

AI 黑魔法：30 天拆解 AI 系統攻擊面（重啟）系列第 17 篇

技術 AI 黑魔法（17）：MCP 的工具定義，比工具本身更危險（重啟）

上一篇介紹了 MCP 的三個基本角色：Host、Client、Server，以及三種能力：Tools、Resources、Prompts，這篇繼續了解，當一個...

Vivian ‧ 2026-09-05

0 Like 0 留言 77 瀏覽

鐵人賽 AI Security DAY 15

AI 黑魔法：30 天拆解 AI 系統攻擊面（重啟）系列第 15 篇

技術 AI 黑魔法（15）：當 AI 會自己動手，拆解 Agent 失守的瞬間（重啟）

上一篇談 Excessive Agency 時，重點放在模型拿到了哪些工具、多少權限，以及有多大的自主空間，這篇來看 Agent 怎麼把模型、工具、記憶、設定檔...

Vivian ‧ 2026-09-03

0 Like 0 留言 133 瀏覽

鐵人賽 AI Security DAY 14

AI 黑魔法：30 天拆解 AI 系統攻擊面（重啟）系列第 14 篇

技術 AI 黑魔法（14）：問出 AI 的權限，再讓 AI 替你做壞事（Excessive Agency）（重啟）

上一篇講模型輸出後可能造成的影響，模型輸出如果直接被塞進 HTML、SQL 或 Shell，最後可能變成 XSS、SQL injection 或 Command...

Vivian ‧ 2026-09-02