iT邦幫忙

鐵人檔案

2026 iThome 鐵人賽
回列表
AI Security

你該防的不是駭客,是你自己的 AI:在本機驗證你的防線 系列

AI 可以加快開發,但它帶進來的風險有兩種:它寫的程式碼看起來能跑,實際上有洞;還有它自己就是攻擊面,一段外部文字讀進去,行為就變了。這 30 天兩種都處理,從開發環境走到交付出去的應用、長期維護與驗證,最後再把涉及敏感資料的 AI 工作移到本機模型,驗證資料不離開機器時的取捨與限制。

多數篇章附一個可在本機重現的案例:先用測試或攻擊證明問題存在,再修補,然後驗證行為確實變了。不必買工具,不必等任何人批准。

每天都會標出同一條界線:哪些工作適合交給 AI,哪些判斷必須由人負責。模型不能當自己的裁判,它講錯的時候,語氣跟講對時一樣有把握。

鐵人鍊成 | 共 30 篇文章 | 2 人訂閱 訂閱系列文 RSS系列文
DAY 21

Day 21|黑名單拿掉一個字,測試通過,誤擋還在

昨天那篇的結尾,我手上多了一條防線自己咬到的誤擋:一句「幫我寫一封提醒客戶不要受騙的公告」,被客服 bot 的輸入側閘擋死,因為它命中了黑名單裡的「騙」。 今天...

2026-08-21 ‧ 由 cyt0809 分享
DAY 22

Day 22|CI 紅燈代表什麼?先分清失敗、跳過與已知缺口

昨天那三條回歸測試躺在專案裡,要人想起來才會跑。今天把它們接進 CI。 我以為第一件事是分級:哪一條沒過就該擋住你,哪一條只要提醒一聲。昨天結尾我也是這樣寫的。...

2026-08-22 ‧ 由 cyt0809 分享
DAY 23

Day 23|沒跑過,就別把攻擊路徑寫成「被擋住」

昨天那些檢查接進 CI 了,紅的時候說得出自己是哪一種紅。防線有了,紀錄有了,回歸也有了。 然後我打開專案,發現我答不出一個很基本的問題:這些防線守的是哪幾個入...

2026-08-23 ‧ 由 cyt0809 分享
DAY 24

Day 24|13 個測試全過,為什麼還有 7 個已知缺口?

昨天那份攻擊面清單上,有九列標了「要出案例」,旁邊躺著九份空骨架,裡面只有一句會 throw 的話。今天要把那九條路徑整理成可以一直重打的案例。 填完之後我跑...

2026-08-24 ‧ 由 cyt0809 分享
DAY 25

Day 25|一份修補前紀錄,為什麼證明不了自己?

昨天那份成績單上有七格紅。那七格全部是我自己判的:模型生攻擊、我寫測試、成功條件也是我填的。出題、作答、批改都在同一邊。 你的處境可能更徹底:攻擊集是 AI 生...

2026-08-25 ‧ 由 cyt0809 分享
DAY 26

Day 26|候選產生器不是漏洞掃描器:它給你的是線索,不是答案

昨天那條攻擊從擋不住變成擋得住,中間那個模型是假的。我用一支腳本冒充模型,回答寫死在裡面。 它撐了 25 天,讓整套流程跑得動,不用連網也不用花錢。代價是它說什...

2026-08-26 ‧ 由 cyt0809 分享
DAY 27

Day 27|候選不是漏洞:在本機重現兩個命令注入

昨天那個本機模型表現得很難看。編號幾乎全錯,五條能核對的候選裡只有一條行號對、而那一條把原因講錯了,乾淨的檔案上還亂報一條。 那個模型是 Cisco 放出來的...

2026-08-27 ‧ 由 cyt0809 分享
DAY 28

Day 28|存檔說是同一份模型,答案卻不一樣

昨天結尾我說要把跑那兩張表的條件記下來。前兩天要 Apple Silicon 的 Mac 才跟得上,今天不用,手邊沒有本機模型也照樣做得完。 今天動手之前,先講...

2026-08-28 ‧ 由 cyt0809 分享
DAY 29

Day 29|模型找對兩個位置,卻沒串起同一條 XSS 資料流

昨天那份成分表今天就收到帳,理由留到後面。今天動手時要多裝一個相依套件(jsdom),不想裝的話瀏覽器的開發者工具也走得完。中間有一輪用到第 26 天那個本機模...

2026-08-29 ‧ 由 cyt0809 分享
DAY 30

Day 30|AI 幫我寫洞,也幫我找洞,最後我只拿得出十九列證據

有人問我:所以你這個專案,現在安全嗎。 我答不出來。做了什麼我知道,但二十九天下來留了一堆東西,攤開來反而不知道該拿哪一份來回答。 今天就是把那堆東西收成一張表...

2026-08-30 ‧ 由 cyt0809 分享