鐵人檔案
生成式 AI 已經可以回答問題、寫程式、整理資料，但「看起來很厲害」不代表它真的可靠。這 30 天，我會用 Python 建立一套 AI 評測與品質檢查工具，從 Accuracy、Consistency、Format Compliance、Abstention、Groundedness，到成本與延遲，逐步把 AI 的表現轉換成可以量化、比較、追蹤的工程指標。
Day 9 跑第一個正式 REAL benchmark 時，我遇到了一個很現實的問題。 不是模型答錯。 不是 calibration 算壞。 而是： 網路斷了。...
前幾天 AI Reliability Lab 一直在處理「模型的結果到底能不能信」。 Day 9，我第一次跑完整的 REAL calibration bench...
Day 9 跑完第一批 REAL benchmark 後，我得到了一個非常直觀的數字： 12 題答對 10 題，Accuracy = 83.33%。 如果只是做...
昨天 Day 13，我第一次把「模型答錯」拆成 machine-readable failure signals。 同一個 incorrect = true，現...
Day 14，我做了一件有點反直覺的事。 明明新的 24 題 benchmark 已經準備好了，我卻一個 REAL API request 都沒有送。 原因是我...
Day 15 跑完 frozen benchmark 後，整體結果其實滿漂亮的。24 題裡答對 23 題，Accuracy 是 95.83%，Agreement...
Day 16 做完後，我原本很自然地想到一件事：既然三次 independent sampling 太粗，那多抽幾次不就好了？ 現在每題只有 3 個 sampl...
前幾天一直在研究 confidence、agreement、sampling budget，但做到 Day 17 後，其實又回到一個很基本的問題：現在手上的 R...
Day 18 我把 benchmark 從 24 題擴到 48 題，四個 strata 各 12 題，也把下一次 REAL experiment 的 sampl...
Day 19 跑完 48 題 REAL benchmark 後，有一個結果非常明顯：6 個錯誤全部出現在 multi_step_reasoning，另外三個 s...
