30 天走下來，從 AI 輔助 E2E、AI Agent 測試，一路寫到評估器校正。 回頭看，每一篇最後都繞回同一件事：判斷力。 Day2：AI 說「這只是...
昨天用 Precision、Recall、F1 量出了評估器準不準。 但量出來「不準」之後，該怎麼修？ 這篇講評估器的校正手段、校正時最難的判斷，以及模型怎麼選...
昨天用 LangSmith 跑完一輪評估，分數都出來了。 但有一個問題一直沒解決：評估器也是 AI，它判得準不準？ 用 LLM 當裁判，就得先驗證裁判。 這...
看架構與邏輯不是只要在 Agent 測試才需要，在一般的測試其實也都需要才對，這樣才能真正的抓出問題。 所以一名 QA 測試能力深度，最大的區別就是是否會...
大家都知道傳統的測試金字塔 這時代如果再多了 Agent 測試階段，測試金塔的維度就會不太一樣 AI Agent 測試要拆成三層來看，傳統測試守最底層，三層共存...
從這篇開始換個方向：產品本身就是 AI，該怎麼測？ 越來越多公司開始做自己的 AI Agent 產品，客服助理、智能搜尋、內部知識問答……當你的團隊也有一個這樣...
開始，AI E2E 自動化測試這一段一共走了三條路：browser-use、Chrome DevTools MCP、還有團隊自己設計的一套架構。 這篇把這十天收...
昨天講完 AI E2E 架構的前三個階段，腳本產出來了，每天也能用純程式跑。 但自動化真正痛的地方，是網站改版之後。 這篇講剩下三個階段：自我修復、收斂知識庫、...
借鏡前兩個工具後，會發現 AI E2E 自動化測試的每套工具都有各自的優缺點。 一開始我是用「一步到位」的標準去看它們，所以始終覺得少了什麼。但其實那兩套要套用...
前面四天，把 Browser-use 跟 Chrome DevTools MCP 各自從安裝、功能一路跑到實戰。 兩個工具都能讓 AI 開瀏覽器跑 E2E 測試...
昨天講完 Chrome DevTools MCP（以下簡稱 CDP）能拿到 Network 和 Console，測試的驗證力跟我想像的比較靠近 所以想嘗試能不能...
Chrome DevTools MCP：由 Chrome 官方團隊維護的 MCP Server，讓任何支援 MCP 的 AI（Claude Desktop、VS...
今天是我是實戰演練後的遇到狀況：同一個環境、同一支測試，我連續跑了三次，三次都成功。，但是 三次的過程完全不一樣！ 先從「跑得動」到「拿真的 TC 來跑」 我...
上一篇把 Browser-use 裝好，也跑完第一支不用寫 selector 的自動化了。 但真的要拿來跑測試，光那幾行不夠。 要跟團隊的系統、腳本長期整合，就...
Browser-use：是一套把 LLM（大型語言模型）接上瀏覽器自動化的 Python 工具。你不用給它 XPath，只要跟它說「點登入按鈕」，它自己去畫面上...
今天開始換一個場景：AI E2E 測試。 傳統自動化的痛點 做自動化的人都知道成本很高，主要是：要知道元素位置在哪裡。 第一次開發 之後維護...
在 AI 時代，用各種自動化測工具 Appium、k6、pytest、Robot Framework 做出一個自動化 Demo，已經易如反掌。 跑得起來不難，難...
前面幾篇已知充分了解「流程有 Skill、經驗有知識庫、規則有把關」等等了 不過 AI 終究是我們在工作時的一種工具，它能大大加速流程，但終究能有效判定是否真的...
經過前面的經驗，我們寫的 Skill 終於能在對的時候被叫出來了。 流程寫得清楚、硬規則也定好了，用起來很順。 然後我又會開始想：既然這麼好用，那乾脆把更多東西...
昨天畫了三條 AI 不能越過的線，其中兩條由 hook 守住，AI 繞不過。 因為有了 SKILL 這個助力，規則寫在文件裡，但現實是 我完全不知道 AI 有沒...
Day 3｜測試全綠，為什麼未列地區的稅卻是 0？ Day 2 把同一批提示詞的改動量攤開來看。第 7 句「加一個地區稅率規則，台灣 5%，其他地區照表」只改了...
Hooks 是在 Claude Code 生命週期的特定時間點（工具呼叫前／後、對話開始／結束等）自動觸發指定的腳本。它跟「CLAUDE.md」最大的差別在於：...
故事 王小明包第一支 Skill：產生測試案例。 流程七八個步驟、硬規則寫得清楚、範例也附了完整的輸入輸出。 寫完在群組裡說了一聲：「以後要列 case 的時候...
Prompt 是什麼 Prompt 就是你這次要對 AI 講的話。 「幫我寫測試案例」是 prompt，「請依照下列六個步驟排查這次的失敗，每一步都要列出你判斷...
前兩天講的都還停留在「一個人」的層級：AI 把知識的取得成本壓到很低，但判斷答案對不對的成本一點都沒降。 今天把範圍拉大到整個團隊。 先講結論：標題所寫的問題不...
昨天說到，AI 已經可以回答絕大多數 QA 的知識型問題。 今天來說一個王小明的故事：如果太相信 AI，就可能把一個真的 Bug 放上線。 故事如下 ▲ 那天...
2022 年，我參加了人生第一次鐵人賽，題目是《QA 三十天養成日記》，硬是撐完了 30 篇。 四年後的今天，我在開賽前，把那 30 篇在大致重頭讀了一次。...
前言 「AI 都已經能自動生成測試了，還需要學 TDD 嗎？」 這大概是我這幾年被問過最多次的問題之一。表面上聽起來很合理：以前寫測試要花時間，現在跟 AI c...
前言 「AI 都已經能自動生成測試了，還需要學 TDD 嗎？」 這大概是我這幾年被問過最多次的問題之一。表面上聽起來很合理：以前寫測試要花時間，現在跟 AI c...
「寫一次，到處都能跑」很誘人，也很容易讓團隊高估 agent plugin 的可攜性。 同一個 plugin 在 VS Code 找得到，在 CLI 也載入成功...
Gary
seansean
recca0120
iThome鐵人賽
看影片追技術