iT邦幫忙

鐵人檔案

2026 iThome 鐵人賽
回列表
AI Engineering

AI Reliability Lab:30 天用 Python 把「AI 好像很準」變成可以量的工程指標 系列

生成式 AI 已經可以回答問題、寫程式、整理資料,但「看起來很厲害」不代表它真的可靠。這 30 天,我會用 Python 建立一套 AI 評測與品質檢查工具,從 Accuracy、Consistency、Format Compliance、Abstention、Groundedness,到成本與延遲,逐步把 AI 的表現轉換成可以量化、比較、追蹤的工程指標。

參賽天數 24 天 | 共 24 篇文章 | 0 人訂閱 訂閱系列文 RSS系列文
DAY 22

Day 22|這次先不讓模型作答:我把 48 題 Holdout 全部鎖死,再等明天驗證

Day 21 做完 Selective Answer Gate 後,我終於有了一條可以拿去測的 candidate policy: agreement <...

2026-10-06 ‧ 由 F24131128 分享
DAY 23

Day 23|第一次真的驗證失敗了:Gate 抓到 88% 錯誤,但 Coverage 只有 62.5%

Day 22 我做了一件看起來有點麻煩,但我覺得很重要的事:先準備一批完全新的 48 題 holdout,做完 Gold validation、人工 revie...

2026-10-07 ‧ 由 F24131128 分享
DAY 24

DAY24替 Reliability Gate 加上 Answer Contract

昨天 Day 23 的 prospective validation 沒有通過。 我們在 Day 22 先把 48 題 holdout、Gate 規則、評分方式...

2026-10-08 ‧ 由 F24131128 分享