iT邦幫忙

2026 iThome 鐵人賽

DAY 30
0
Claude AI

AI 時代下最值得投資的 UI 自動化:30 天用 Claude Code 學會寫 Playwright系列 第 30

Day 30: 測試策略:哪些該自動化、哪些留給人

  • 分享至 

  • xImage
  •  

學會一把好鎚子之後,最大的風險是看什麼都像釘子。這篇退後一步談策略:自動化是手段,不是目標。決定「什麼值得自動化」的判斷,比自動化本身更值錢。業界近兩年的調查都在講同一件事:幾乎每個團隊都在測試裡導入了 AI,但真正回報顯著成效的仍是少數——差別不在工具,在策略。而這個判斷,正在成為測試人員的新核心。

兩個軸,四個象限

https://ithelp.ithome.com.tw/upload/images/20260825/20161809qQuE2bHsX1.png
圖 1:重複頻率 × 判斷成分的決策象限

值不值得自動化,兩個軸就能定位。

橫軸是判斷成分:結果能不能寫成明確的對錯規則?「訂單金額應為 350 元」可以;「這個頁面看起來專不專業」不行。

縱軸是重複頻率:這個檢查多久做一次?每次發版都做的回歸是一端,一次性的驗證是另一端。

左上(高重複、低判斷)是自動化首選:回歸、冒煙、多環境驗證。機器做得比人好,人做這些是浪費。右邊(高判斷)留給人:探索性測試、易用性評估、新功能的第一次檢視,價值恰恰在人的、無法規則化的直覺。

左下角值得注意,它的邊界被工具移動了。以前頻率不高的檢查不值得花人力自動化;現在 AI 把撰寫成本壓得夠低,順手自動化變得划算。象限沒變,線移了。

但這裡要加一個務實的提醒:AI 降低的是「寫測試」的成本,不是「養測試」的成本。每一條自動化測試都是要維護的資產——它會因為 UI 改版而壞、因為環境不穩而閃爍(flaky)、因為沒人敢刪而堆積。業界這兩年最常見的失敗模式,不是自動化太少,而是用 AI 大量生產測試之後,被維護量和誤報淹沒,紅燈失去公信力,最後大家對整個測試套件視而不見。所以左下角的正確用法是「順手」,不是「全面掃射」:進象限的門檻降低了,但「這條測試壞掉時有沒有人會在乎」這個問題,AI 沒有幫你回答。

同一個象限內,還要選對層

決定「要不要自動化」之後,還有一個常被跳過的決定:「在哪一層自動化」。同一條業務規則,能用 API 測試驗證的就不要開瀏覽器——更快、更穩、更便宜。業界調查裡 API 測試的自動化率長期遠高於 UI 測試,不是因為 UI 不重要,而是大家用維護成本投票的結果。UI 自動化(也就是這三十天的 Playwright)應該集中在「使用者旅程真的走得通」的關鍵流程上,而不是把每一條輸入驗證規則都從畫面點一遍。

一個象限放不下的新東西:AI 功能本身

如果你的產品已經內建了 AI 功能(推薦、摘要、對話),你會發現它放不進這個四象限——因為它的輸出不是確定性的,「寫成明確對錯規則」這個橫軸本身就失效了。這類功能的驗證是另一門手藝:用評估集(evals)給輸出打分數、設品質基準線、抽樣人工複核,而不是斷言某個固定字串。這超出本系列範圍,但策略上你得知道它的存在:別硬用傳統斷言去測機率性的輸出,也別因為測不了就不測。

同一個道理反過來也成立:AI 適合幫你發想測試、產生資料、分析結果,但測試的「執行」和「放行決策」需要的是一致性和可解釋性。讓 AI 寫測試,讓確定性的程式跑測試,讓人做放行的判斷——這個分工目前業界的共識相當一致。

探索性測試:不是還沒自動化的測試

要特別正名。探索性測試不是自動化的候補,是另一種活動。

自動化回歸驗的是「已知該對的事還對著」;探索驗的是「有沒有沒人想到的問題」。前者是警報器,後者是偵察兵,誰也替代不了誰。這幾年 AI 讓「已知檢查」的產能大增,反而凸顯了另一邊的稀缺:機器可以窮舉規則,但注意到「這個流程怪怪的」仍然是人的專利。

而且兩者有生產關係:探索發現的問題,固化成自動化測試,防止復發。探索是自動化的上游供應商。健康的策略裡,自動化越完備,測試人員反而有越多時間探索,不是越少。

時間的去向:誠實回答那個問題

https://ithelp.ithome.com.tw/upload/images/20260825/20161809G5jys9N5gi.png
圖 2:時間從重複執行流向設計、探索與把關

「AI 加自動化會不會取代測試人員?」被取代的是「重複執行」這件事——每次發版把同樣的東西再點一遍。這部分本來就該給機器,它更快、更穩、不會恍神。

人的時間流向四個去處:測試設計與策略(本篇在做的事)、探索性測試(機器做不了的)、審查 AI 產出、紅燈判讀。

四件事的共同點:都需要「知道什麼是對的」的判斷力,那是你多年測試經驗的沉澱。業界的職缺數據也印證這個走向:World Quality Report 連續兩年指出,生成式 AI 已是品質工程師最被需要的技能,而多數組織自認缺乏這方面的人才——缺口就是機會。前提只有一個——你得主動站到這些位置上,而不是守在執行的位置等被比較。

把策略寫下來,一頁就好

策略要能溝通才有用。建議產出一頁「測試策略備忘」,四塊內容:
https://ithelp.ithome.com.tw/upload/images/20260825/20161809Jennmr8yiS.png
圖 3:一頁測試策略備忘的四塊內容

• 哪些流程進自動化回歸,附標籤對應。
• 哪些場合跑哪些集,分層策略——包含哪些檢查放 API 層、哪些才值得上 UI 層。
• 哪些領域定期探索,C 級清單就是起點。
• 紅燈的處理約定——誰看、多快看、什麼情況擋發版。

這頁的價值在對齊:主管知道錢花在哪、開發知道紅燈的分量、新人知道從哪接手。每季用實際數據回顧一次——哪類 bug 漏進了正式環境?測試套件的閃爍率和維護工時有沒有失控?那就是策略該調的訊號。


上一篇
Day 29: 從既有測試案例到自動化:把手上的 Test Case 交給 AI 轉換
系列文
AI 時代下最值得投資的 UI 自動化:30 天用 Claude Code 學會寫 Playwright30
圖片
  熱門推薦
圖片
{{ item.channelVendor }} | {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言