鐵人檔案
我是一名 QA。這 30 天，我要替公司做一個能回答「這張票要測什麼、這個改動影響哪裡、當初為什麼這樣決定」的知識庫——零 API 成本、資料不出公司、跑在一台沒有獨顯的筆電上。
但這個系列真正想講的，是過程中我一直撞到的同一件事：AI 產出的東西不是「會胡說八道」那麼簡單，它是大部分正確、少部分錯得很有說服力。
那少部分附了 PR 編號、檔名和條列格式，看起來完全像真的。我把 AI 統整的 18 張卡拿去逐項對照程式碼，抓到 8 處錯誤；其中一條甚至一路走到新人手上，變成一份「假的測試失敗」。
難的從來不是讓 AI 回答問題，是怎麼知道它答錯了。而這正好是 QA 每天
Day 7 到 Day 11 那幾篇的結論很明確:AI 產出的東西要被驗證。 而現在這個知識庫,本身就是 AI 幫忙產出的。 所以結論只有一個:它當然也要被驗...
Day 17 定了架構:推理在建置期做完,查詢時只要一顆小模型把現成的事實講成人話。 那下一個問題就很具體了:那顆小模型,從哪裡來? 而我最早的想法,其實一點...
條件定下來了:本機跑、CPU 推論、記憶體十五 GB 出頭、沒有獨顯。 在這個框框裡,我挑了兩顆四十億參數等級的模型來比。 而它們的差別,剛好就是這個系列前面...
問題只有一個,而且有標準答案: 某張卡,是什麼時候發生的? 資料我都餵好了,答案就在裡面。兩顆模型,同一個問題,同一批事實。 結果是這樣: 模型 回...
前面兩輪的測試,兩顆模型都答對了,零幻覺。 而那個結果,我一點都不敢相信。 因為那兩輪有一個很大的問題:我餵給它的每一條事實,都跟問題相關。 那不是測試,那是...
測試跑完了。 先給結果,因為這個結果跟我 Day 23 押的方向完全相反: 判準 乙(不思考) 甲(會思考) 耗時 17.6 秒 389.6 秒...
昨天的結果是兩顆都不完美: 乙:快、便宜、聽話、不牽拖,但不敢說「我不知道」,而且最難那題答非所問 甲:推理是真的、敢說「我不知道」、最難那題只有它答對...
模型選好了。剩下的工作看起來很單純:把它的缺點補起來。 Day 27 我寫過,乙的兩個缺點都是 prompt 能修的——它不敢說「事實不足」,而且最難那題答非...
昨天的結論是:問題可能不在指令,在檢索。 所以我做了第三個版本。而它跟第二版的差別,我當時以為只有一件事: 指令一模一樣,還是那份很嚴格的。 但我只餵給它六...
三十天到了。 第一天我寫的是一份看起來完全像真的假規則——那份東西騙過了我,也差一點騙過一個新人。 而這三十天做的所有事情,都是在回答同一個問題: 那,要怎麼...
