iT邦幫忙

鐵人檔案

2026 iThome 鐵人賽
回列表
AI Security

你該防的不是駭客,是你自己的 AI:在本機驗證你的防線 系列

AI 可以加快開發,但它帶進來的風險有兩種:它寫的程式碼看起來能跑,實際上有洞;還有它自己就是攻擊面,一段外部文字讀進去,行為就變了。這 30 天兩種都處理,從開發環境走到交付出去的應用、長期維護與驗證,最後再把涉及敏感資料的 AI 工作移到本機模型,驗證資料不離開機器時的取捨與限制。

多數篇章附一個可在本機重現的案例:先用測試或攻擊證明問題存在,再修補,然後驗證行為確實變了。不必買工具,不必等任何人批准。

每天都會標出同一條界線:哪些工作適合交給 AI,哪些判斷必須由人負責。模型不能當自己的裁判,它講錯的時候,語氣跟講對時一樣有把握。

參賽天數 22 天 | 共 22 篇文章 | 2 人訂閱 訂閱系列文 RSS系列文
DAY 11

Day 11|間接提示注入:你看見的網頁,不是模型讀到的那一份

昨天結尾我留了一句:今天那條指令不是使用者打的。 它躺在一個你叫模型去讀的東西裡面。 所以昨天那個「過濾使用者輸入」的想法,今天連攔的機會都沒有,因為那段字根本...

2026-08-11 ‧ 由 cyt0809 分享
DAY 12

Day 12|你沒看到的 MCP 工具描述:agent 說乾淨可能只是沒去看

昨天結尾我答應了一件事:回頭讀 Day 8 那張清單的描述那一欄,而且是逐字讀完,不抽樣。 今天早上讀完了。 第一支就讓我停下來。那是我裝在瀏覽器自動化那台上的...

2026-08-12 ‧ 由 cyt0809 分享
DAY 13

Day 13|我沒按過上傳,知識庫卻多了 356 段

昨天結尾我留了一個問題:你把內部文件整批塞進向量庫,那些文件是誰寫的。 今天我去數自己那套。第一件事就卡住了:我那套知識庫,根本沒有「塞進去」這個動作。 你可能...

2026-08-13 ‧ 由 cyt0809 分享
DAY 14

Day 14|改完防護 prompt,總分一模一樣,可是有四條變了

昨天結尾我寫,那些攻擊「各自都打過一次,各自都有紀錄。問題是它們是散的」。 先講清楚今天量的是什麼:模型輸出行為的回歸,不是安全保證。 防護 prompt 降低...

2026-08-14 ‧ 由 cyt0809 分享
DAY 15

Day 15|模型一句話都沒違反,工具卻被 302 帶進內網

昨天結尾我說要做一件很簡單的事:agent 有一個抓網頁的工具,網址那格是模型填的,那就塞一個內網位址進去,看它會不會去打。 今天做了,三十發。結論跟我想的不一...

2026-08-15 ‧ 由 cyt0809 分享
DAY 16

Day 16|我以為 AI 寫的 CRUD 一定漏授權,96 次實測沒有重現

昨天結尾我說今天要改那個數字:網址上有一條 /orders/1042,改成 1043,看會發生什麼事。 我在自己架的玩具伺服器上做了,登入甲的帳號,把 /ord...

2026-08-16 ‧ 由 cyt0809 分享
DAY 17

Day 17|48 次提示注入都沒刪掉那張單,為什麼「意圖一致」還是不等於使用者授權

昨天結尾我說,模型講出「確認刪除」四個字,東西就真的沒了,而它講那句話的理由可能是它剛剛讀到的一段文字。今天要處理的就是「講話」跟「動手」中間那一段。 先看一個...

2026-08-17 ‧ 由 cyt0809 分享
DAY 18

Day 18|同文字各判兩遍,36 組有 3 組答案不同

昨天結尾我說,明天換一個問題:同一個動作,該不該被做一萬次。今天先從最無聊的那一半開始,因為它兩行就寫完。 前三道:給設定,不給篇幅 假設早上起來帳單多了兩百美...

2026-08-18 ‧ 由 cyt0809 分享
DAY 19

Day 19|AI 擋住了命令注入,卻把功能一起刪了

叫 AI 修一個資安問題,它交回來,測試全綠。那份修法可能是把整個功能刪掉了,而你的測試看不出差別。 今天在自己的 daemon 上找到一個那樣的洞,順手叫模型...

2026-08-19 ‧ 由 cyt0809 分享
DAY 20

Day 20|同一個要求跑了 48 次,紀錄裡長出 48 種理由

前面十九天在建防線:閘、白名單、授權核對、參數陣列。昨天結尾那句是這樣收的,這些東西上線兩個禮拜之後,你說不說得出它們到底擋過什麼、有沒有擋錯人。 Part I...

2026-08-20 ‧ 由 cyt0809 分享