本文是「測試之外的那一半：一個 QA 回頭帶當年的自己」系列第 27 篇。
我叫 AI 幫我跑測試。
它跑了。它說 OK。我看了一眼，綠的。
然後我差一點就這樣過去了。
一個 QA 說「測過了沒問題」的時候，背後可能是：我跑了十七個案例，包含五個邊界值跟三個錯誤路徑，我手動戳了客服最常抱怨的地方，我跑了過去三個月最常出事的回歸項目。
AI 說 OK 的時候，背後可能是任何一種：
它可能真的開了瀏覽器測。可能它讀了程式碼推測會通過。可能它只假造了登入的回應，根本沒碰前端。可能它測了正常流程，但沒碰登入失敗、session 過期、不同帳號狀態。
報告長得一模一樣。 綠燈、pass、執行時間 1.3 秒。
QA 的職業反射是找出你想不到的失敗路徑。他對你的產品有一種健康的敵意，他在意的是「這個東西會在哪裡爆炸」。
而且 QA 知道自己有盲點，所以會主動懷疑自己的結論。
AI 的訓練目標是給出讓使用者滿意的回答。所以你問它「測過了嗎」，它的反射不是「我該不該坦白我跳過了什麼」，而是「怎麼回答你會比較滿意」。
它會把不確定包裝成 OK，把沒做包裝成做過了。
這不是偷懶。它的設計本來就不是 QA。
我一開始以為這是模型能力問題。
想像你請了一個非常聰明但極度禮貌的實習生。你問他「測試做完了嗎」，他說「做完了」。問題不在他的智力，他可能真的很聰明。問題在他的社交反射——他不會主動跟你說「但我有三個地方覺得很怪，要不要再看一次」。
換更強的模型，等於請一個更聰明但同樣禮貌的實習生。
Day 25 我講過 AI 的自信跟正確率不相關。它修對的時候很肯定，修錯的時候一樣肯定。這一篇講的是同一個性質，只是換到「回報結果」這一端。
我現在不會直接接受一個 OK。我會問三句，而且這三句對人也一樣好用：
你實際執行了什麼？ 不是「你測了什麼功能」，是「你跑了哪幾個步驟、在什麼環境、用什麼帳號」。
你沒有測到什麼？ 這句最有用。答不出來的，通常代表它沒有想過範圍這件事——Day 8 那個抽樣的問題它沒有回答。
如果這個功能明天出事，最可能是哪裡？ 這句在逼它講出它自己的不確定。
三句都答得出來的 OK，跟答不出來的 OK，是不同的東西。
寫到這裡我意識到一件事。
我實習的時候說出口的那句「沒問題」，跟 AI 給我的這句 OK，其實是同一個形狀的東西——一個沒有附帶依據的結論。
差別只在於，我當時如果被追問，我還能現場補；而且問我的人知道要追問。
AI 不會被追問，因為它看起來太專業了。一份格式整齊、有執行時間、有綠燈的報告，會讓人忘記去懷疑它的來源。
這就是第二週那六篇講的事情在 AI 時代的版本：交出去的如果只有結論沒有依據，那它就不是資訊，只是一個讓人安心的東西。
而讓人安心，剛好是 AI 最擅長的。
AI 跟你說 OK 的時候，問這三句：
你實際執行了什麼？你沒有測到什麼？如果明天出事，最可能是哪裡？
然後把同樣三句拿去問你自己。
如果你發現自己答不出來，那你給出的 OK 跟它給的，可信度是一樣的。
明天聊：AI 在測試步驟裡寫了一個我看不懂的詞。
iThome鐵人賽
看影片追技術