這篇講 LangSmith 的評估器（Evaluator），並實際跑一輪 Experiment，讓分數自動算出來。 人工看 vs 評估器自動審查 人工看： 輸...
這篇先認識 LangSmith 是什麼、有哪些功能，以及最重要的兩個基本功：**Tracing（看執行軌跡）**跟 Dataset（建測試題庫）。 LangS...
這篇把它落實成測試案例，講 AI Agent 的測試案例跟傳統 TC 到底差在哪、預期結果該怎麼寫、驗收標準怎麼定。 傳統 TC vs Agent TC 以前...
前面提到傳統 QA 有冒煙測試、回歸測試、功能測試…… AI Agent 測試也有自己的一套分類，但很容易把兩件事混在一起： 在回答什麼 例子...
看架構與邏輯不是只要在 Agent 測試才需要，在一般的測試其實也都需要才對，這樣才能真正的抓出問題。 所以一名 QA 測試能力深度，最大的區別就是是否會...
大家都知道傳統的測試金字塔 這時代如果再多了 Agent 測試階段，測試金塔的維度就會不太一樣 AI Agent 測試要拆成三層來看，傳統測試守最底層，三層共存...
從這篇開始換個方向：產品本身就是 AI，該怎麼測？ 越來越多公司開始做自己的 AI Agent 產品，客服助理、智能搜尋、內部知識問答……當你的團隊也有一個這樣...
開始，AI E2E 自動化測試這一段一共走了三條路：browser-use、Chrome DevTools MCP、還有團隊自己設計的一套架構。 這篇把這十天收...
TL;DR 四個缺陷，加上規格裁決後改寫的通膨基準年，接回那支 HTML。接回去的那份跟 Python 實作逐位元對齊：505 組輸入、2005 項比對、0...
昨天講完 AI E2E 架構的前三個階段，腳本產出來了，每天也能用純程式跑。 但自動化真正痛的地方，是網站改版之後。 這篇講剩下三個階段：自我修復、收斂知識庫、...
借鏡前兩個工具後，會發現 AI E2E 自動化測試的每套工具都有各自的優缺點。 一開始我是用「一步到位」的標準去看它們，所以始終覺得少了什麼。但其實那兩套要套用...
前面四天，把 Browser-use 跟 Chrome DevTools MCP 各自從安裝、功能一路跑到實戰。 兩個工具都能讓 AI 開瀏覽器跑 E2E 測試...
昨天講完 Chrome DevTools MCP（以下簡稱 CDP）能拿到 Network 和 Console，測試的驗證力跟我想像的比較靠近 所以想嘗試能不能...
TL;DR 三十天分四幕：驗屍、規格、造尺、沒有答案的時候。每一幕收成一句 八十筆決策紀錄，二十六筆不掛任何閘門，其中十二筆是量 AI 的人自己壞掉之後的更正...
TL;DR 用 AI 最常見的直覺是「多跑幾次挑最好的」。三十天的資料說：這一半行不通 它犯的錯很一致——三次獨立生成、跨兩臺模型，測試的盲區開在完全相同的...
TL;DR 人寫的測試套組漏掉兩種錯法，原因不是斷言不夠嚴，是二十三組案例沒有一組餵那個輸入 十份 AI 產物裡有一份補上了其中一格。補上它的不是蛻變關係，...
Chrome DevTools MCP：由 Chrome 官方團隊維護的 MCP Server，讓任何支援 MCP 的 AI（Claude Desktop、VS...
TL;DR 昨天那個檢查我做錯的不是我以為的地方：不是漏查了幾條，是只查了一對欄位——那對還是我碰巧注意到的 工具掃十份 AI 產物的 232 條斷言，標記...
今天是我是實戰演練後的遇到狀況：同一個環境、同一支測試，我連續跑了三次，三次都成功。，但是 三次的過程完全不一樣！ 先從「跑得動」到「拿真的 TC 來跑」 我...
上一篇把 Browser-use 裝好，也跑完第一支不用寫 selector 的自動化了。 但真的要拿來跑測試，光那幾行不夠。 要跟團隊的系統、腳本長期整合，就...
TL;DR 把同一份規格交給兩臺模型各跑五次，十份產物裡有一條關係是全員都寫的 它在受測的那版永遠是綠的：那兩個「輸出」其實是同一個物件；換到上線那版，同一...
Browser-use：是一套把 LLM（大型語言模型）接上瀏覽器自動化的 Python 工具。你不用給它 XPath，只要跟它說「點登入按鈕」，它自己去畫面上...
TL;DR 不知道答案對不對的時候，去找程式裡兩個該吻合的出口，讓它們互相對帳 我寫了四條關係，只有「對帳」那條抓到東西：它揪出上線一年的缺陷 A，而第一幕花...
TL;DR 把 Day 22 十二份紅掉的 AI 腳本拆開數：26 條失敗，一半是期望值算錯 最關鍵的一條來自完整規格那一組：十二條條款讀完，手推出的期望值差...
今天開始換一個場景：AI E2E 測試。 傳統自動化的痛點 做自動化的人都知道成本很高，主要是：要知道元素位置在哪裡。 第一次開發 之後維護...
TL;DR 把二十份 AI 腳本裡真正餵進去的數字全部抽出來數：年齡有整數偏好，金額沒有，而且反過來 規格寫明邊界之後，AI 打邊界打得比人寫的對照組還準...
TL;DR 同一個介面、同一批變異體，只換規格細度：一句話 vs 十二條 PRD，兩臺模型各五輪，共二十次生成 一句話組殺掉 0 個，PRD 組殺掉 12 個...
在 AI 時代，用各種自動化測工具 Appium、k6、pytest、Robot Framework 做出一個自動化 Demo，已經易如反掌。 跑得起來不難，難...
前面幾篇已知充分了解「流程有 Skill、經驗有知識庫、規則有把關」等等了 不過 AI 終究是我們在工作時的一種工具，它能大大加速流程，但終究能有效判定是否真的...
TL;DR 把昨天挖出來的兩種盲區餵回 AI：四行從沒被執行、一行執行了卻不影響結果。給原始碼，不給答案 三份產物，兩份通過驗收，變異分數 85.7% →...
Gary
eyelash*睫毛
iThome鐵人賽
看影片追技術