鐵人檔案
從人工建立工具，到 AI 輔助開發，再到如今 AI Agent 的崛起，軟體開發的方式正在快速改變。
AI 可以很快做出我們想要的功能，但 AI 做出來的東西，真的可以信任嗎？我們又該如何驗證？
這系列文章將以我去年的作品為範例，實際測試 AI 開發出的成果，從 QA 的角度驗證它究竟可靠不可靠。
就讓我們在做中學，一起探索 AI 時代的軟體開發吧！
TL;DR 424 條 AI 產出的測試案例，十條 PRD 全部有案例覆蓋。抽驗一份 74 條：零幻覺、九條算式全中——但能在文件層驗到底的就只有那九條 RT...
TL;DR 我為 Day 10 的實驗寫了隔離條件，跑完十份才發現：污染源有五種，我只想到兩種 漏掉的三種有個共同點：它們是介面預設幫我打開的，不需要我做任何...
TL;DR 昨天跳票的人工核對，今天用 40 行程式補上一部分：把「邊界該有三個點」這個 QA 直覺寫成可執行的判定 掃十份案例集，PRD-05 上界的三點命...
TL;DR 我把 PRD-05 的上界子句刪掉，讓規格回到受測物當年那個狀態，再餵給兩個模型各跑五次 十份輸出裡，沒有一份默默把上界補回來。我原本預期會有 但...
TL;DR PRD v1.1 今天生效，其中一條改判讓目標金額變動 +73.17% 規格換了版，測試沒有。我拿 21 個變異體去問：把受測物改壞，那 13 條...
TL;DR 424 條是 AI 寫的，前四天量下來品質參差，而參差的位置事先看不出來 所以不全量自動化。分級與選題是暴露面控制，不只是省力氣 打分模型第一版...
TL;DR 正文用三個字帶過的「基底有了」，實際上跑了兩輪 第一輪 6 項不合格：5 項是我的量尺寫錯，1 項是我的規格沒寫 系列問「AI 寫的測試，誰來測...
TL;DR pytest 的綠燈只代表函式沒拋例外。用 ast 寫了 assert_inspector.py，機器化地問：這條測試到底在比什麼 量尺做出來第一...
TL;DR 昨天那套忠實性 100% 的測試，今天量行覆蓋率：43 行邏輯全部走過，100% 同一套測試，Day 14 的 21 個變異體存活 12 個，對...
TL;DR 自建變異引擎不難，難的是它自己也是程式碼：判定邏輯錯一行，之後每一個分數都是偽證 校準協議：必死、必活、必錯三組五條，答案人手寫、跑之前定。正規做...