iT邦幫忙

testing相關文章
共有 126 則文章
鐵人賽 AI Engineering DAY 19
AI 寫的測試,誰來測? 系列 第 20

技術 【Day18】誰來驗收驗收者:自建 Mutation Harness 與校準協議

TL;DR 自建變異引擎不難,難的是它自己也是程式碼:判定邏輯錯一行,之後每一個分數都是偽證 校準協議:必死、必活、必錯三組五條,答案人手寫、跑之前定。正規做...

鐵人賽 AI Engineering DAY 18
AI 寫的測試,誰來測? 系列 第 19

技術 【Day17】行覆蓋率 100%,還是有十一種錯法穿過去

TL;DR 昨天那套忠實性 100% 的測試,今天量行覆蓋率:43 行邏輯全部走過,100% 同一套測試,Day 14 的 21 個變異體存活 12 個,對...

鐵人賽 AI Engineering DAY 17
AI 寫的測試,誰來測? 系列 第 18

技術 【Day16】CI 全綠,但 AI 只寫了一句 assert result is not None

TL;DR pytest 的綠燈只代表函式沒拋例外。用 ast 寫了 assert_inspector.py,機器化地問:這條測試到底在比什麼 量尺做出來第一...

鐵人賽 Software Development DAY 3

技術 Day 3:為什麼「測試都綠燈」不能證明程式碼設計沒問題

前言:「CI 全綠,還要 review 什麼?」 這句話幾乎是每個團隊都講過的話。測試涵蓋了主要情境、CI 顯示全綠、PR 描述寫得清清楚楚——這時候要求「再花...

鐵人賽 AI Engineering DAY 16
AI 寫的測試,誰來測? 系列 第 16

技術 【Day15】424 條案例,只有一小撮值得寫成 pytest

TL;DR 424 條是 AI 寫的,前四天量下來品質參差,而參差的位置事先看不出來 所以不全量自動化。分級與選題是暴露面控制,不只是省力氣 打分模型第一版...

鐵人賽 IT Operation DAY 11

技術 Day 11:AI 會不會主動幫你補那些被冷落的測試?

前言:AI 會不會主動幫你補被冷落的測試? 「如果請 AI 幫我在 PurchaseRequest 加一個新的付款方式,AI 會不會像 Day 09 講的那樣,...

鐵人賽 AI Engineering DAY 16

技術 Day 16:測試邊界跟架構邊界的關係——能不能獨立測試,反映架構乾不乾淨

前言:寫測試變慢,是不是測試框架的問題? 「這段程式碼的測試,每次都要啟動整個系統、連上資料庫、跑完一整條請求鏈路才能測到,是不是測試工具沒選對?」 這個問題背...

鐵人賽 AI Engineering DAY 15
AI 寫的測試,誰來測? 系列 第 15

技術 【Day14】十三條測試全綠,殺得掉的只有「乘以 −1」

TL;DR PRD v1.1 今天生效,其中一條改判讓目標金額變動 +73.17% 規格換了版,測試沒有。我拿 21 個變異體去問:把受測物改壞,那 13 條...

鐵人賽 IT Operation DAY 9

技術 Day 09:兩種節奏——「功能配測試」跟「順路補測試」

前言:先寫測試再寫功能,才算有紀律? 「TDD 教的不是應該先寫測試、再寫功能嗎?昨天那筆 commit 看起來完全不是這樣,這樣算不算沒紀律?」 先說結論:昨...

鐵人賽 AI Engineering DAY 14
AI 寫的測試,誰來測? 系列 第 14

技術 【Day13】我刪掉一條規格,沒有人偷偷把它加回來

TL;DR 我把 PRD-05 的上界子句刪掉,讓規格回到受測物當年那個狀態,再餵給兩個模型各跑五次 十份輸出裡,沒有一份默默把上界補回來。我原本預期會有 但...

鐵人賽 AI Engineering DAY 13
AI 寫的測試,誰來測? 系列 第 13

技術 【Day12】把「該有 A_d−1 / A_d / A_d+1」寫成 40 行程式

TL;DR 昨天跳票的人工核對,今天用 40 行程式補上一部分:把「邊界該有三個點」這個 QA 直覺寫成可執行的判定 掃十份案例集,PRD-05 上界的三點命...

鐵人賽 AI Engineering DAY 12
AI 寫的測試,誰來測? 系列 第 12

技術 【Day11-番外】十份實驗資料,全部作廢

TL;DR 我為 Day 10 的實驗寫了隔離條件,跑完十份才發現:污染源有五種,我只想到兩種 漏掉的三種有個共同點:它們是介面預設幫我打開的,不需要我做任何...

鐵人賽 AI Engineering DAY 11
AI 寫的測試,誰來測? 系列 第 11

技術 【Day11】RTM 沒抓到漏測,抓到的是我的規格書

TL;DR 424 條 AI 產出的測試案例,十條 PRD 全部有案例覆蓋。抽驗一份 74 條:零幻覺、九條算式全中——但能在文件層驗到底的就只有那九條 RT...

鐵人賽 AI Engineering DAY 10
AI 寫的測試,誰來測? 系列 第 10

技術 【Day10】把 PRD 餵給 AI 之前,先把及格線畫好

TL;DR 今天不報實驗結果。今天做的是實驗設計,而且是刻意的——先定好怎麼算它及格,才有資格去跑 驗收標準的預設立場寫成「這批案例不能直接用」,要推翻它得有...

鐵人賽 AI Engineering DAY 9

技術 【Day9】閘門一:替一年前的自己做決定

TL;DR 為了驗一句「這是業界通行寫法」,我拆了六個試算器:四個看原始碼,一個黑箱反解,一個它自己寫在頁面上 查完之後改了一條裁決:同帳戶兩種複利頻率,沒有...

鐵人賽 AI Engineering DAY 8

技術 【Day8】規格考古:十個沒有人做過決定的地方

TL;DR 這支工具沒有 PRD,但它每一行都在替使用者做決定——我把那些決定挖出來,數了十個 十個裡面只有三個對應到已知缺陷,其餘七個現在「沒有壞」,但也沒...

鐵人賽 Build on Google AI DAY 29

技術 Day 29 | 最真實的 Dogfooding:連續一週打卡實測、AI 診療室動態排程與 GCP 帳單開

前言:AI 教練真正的戰場,在你的日常生活裡 經過了 28 天的奮戰,KAKERU 系統完成了全端架構的建置與部署。 KAKERU 的誕生,不是用來取代 Gar...

鐵人賽 AI Engineering DAY 7

技術 【Day7】把錯的行為,正式寫進測試裡

TL;DR Golden set v1:23 組,其中 8 組鎖的是缺陷本身——它們現在通過,代表缺陷還在 把明知是錯的結果寫進 assert,心理上很難受...

鐵人賽 AI Engineering DAY 6

技術 【Day6】500 組差分,第一次就掛了

TL;DR 差分測試第一次跑就 496/500 不符——而錯的是我,不是受測物 修完之後 500 組全過,1500 個數字裡有 1182 個兩邊逐位元相同,最...

鐵人賽 Claude AI DAY 6

技術 Day 06:與乾淨基準比對——把「本機環境雜訊」跟「真的迴歸」分開

前言:測試變紅了,是我改壞的,還是本來就這樣? 「跑測試,紅字,代表這次改動有問題」——這句話聽起來理所當然,但在一套運作多年、缺乏完整測試網的系統上,這個推論...

鐵人賽 AI Engineering DAY 5

技術 【Day5】打造影子模型:抽取,還是重寫?

TL;DR 要驗證一支程式算得對不對,你需要第二個獨立的實作——但「獨立」到什麼程度,是一個要人來裁決的問題 機械式抽取和重新實作,會得到兩種完全不同的測試:...

鐵人賽 AI Engineering DAY 4

技術 【Day4】那個 (1+r) 是怎麼來的

TL;DR 缺陷 A 的偏差不是隨機的:正確的目標金額正好是系統值的 (1+r) 倍,純用等比級數就推得出來 昨天那筆被藏起來的赤字也有閉式解:− r × 目...

鐵人賽 AI Engineering DAY 3

技術 【Day3】四個缺陷的驗屍報告

TL;DR 四個缺陷是這一年間由 AI 輔助的人工審查逐行比對找出來的,不是任何測試方法自動抓到的 兩個是輸入沒防好,一分鐘就能修;兩個藏在精算公式的跨期假設...

鐵人賽 AI Engineering DAY 2

技術 【Day2】三招驗證法,為什麼一招都沒中?

TL;DR 昨天的三種驗證法各有各的盲區,但它們的盲區是同一種:都只能檢查我事先想得到的東西 其中最根本的一招——請 AI 檢查它自己寫的程式碼——不是不夠聰...

鐵人賽 AI Engineering DAY 1

技術 【Day1】我的退休試算上線一年,我檢查過,它「沒問題」?

TL;DR 去年我用三種驗證法檢查過自己做的退休試算工具,一年後它被找出四個計算缺陷,一個都沒被抓到 「沒看到 bug」不等於「沒有 bug」,而這件事我是用...

鐵人賽 Modern Web DAY 28
我推的Laravel S2! 系列 第 28

技術 我推的Laravel S2|Day 27:Testing 測試:TEST CASE、HTTP 斷言、資料庫測試

一句話破題 這系列從 Day 9 開始建立的 Post 相關功能,到今天總算要幫它們寫測試了。Laravel 的 Assertion 方法光是 HTTP 回應就...

技術 為什麼 VS Code Test Explorer 與 dotnet test 跑出不同結果?

同一個 commit、同一份 .runsettings,terminal 全綠、VS Code 卻 32 個失敗。追到最後是 testhost 模式的本質差異...

鐵人賽 Software Development DAY 29

技術 Day 29: 30天打造SaaS產品後端篇-微服務整合與事件驅動架構

前情提要 在過去的 Day 24-28 中,我們建構了 Kyo System 後端的核心架構: Day 24: 建立 Fastify + TypeScrip...

鐵人賽 Modern Web DAY 29

技術 Day 29: 30天打造SaaS產品前端篇-完整系統整合與端到端測試

前情提要 在過去的 Day 24-28 中,我們完成了 Kyo System 前端的核心功能: Day 24: 建立 React + Vite + Type...

鐵人賽 Python DAY 17
Python 錦囊密技 系列 第 17

技術 【Python錦囊㊙️技17】單元測試(Unit Testing)入門

前言 依照【Python錦囊㊙️技10】OOA、OOD and OOP討論的軟體開發生命週期(SDLC),程式撰寫完後,必須進行單元測試(Unit Testin...