生成式 AI 已經可以回答問題、寫程式、整理資料,但「看起來很厲害」不代表它真的可靠。這 30 天,我會用 Python 建立一套 AI 評測與品質檢查工具,從 Accuracy、Consistency、Format Compliance、Abstention、Groundedness,到成本與延遲,逐步把 AI 的表現轉換成可以量化、比較、追蹤的工程指標。
Day 19 的 48 題 REAL benchmark 裡,模型答對 42 題、答錯 6 題,而且 self-reported confidence 48 題...
Day 21 做完 Selective Answer Gate 後,我終於有了一條可以拿去測的 candidate policy: agreement <...
Day 22 我做了一件看起來有點麻煩,但我覺得很重要的事:先準備一批完全新的 48 題 holdout,做完 Gold validation、人工 revie...
昨天 Day 23 的 prospective validation 沒有通過。 我們在 Day 22 先把 48 題 holdout、Gate 規則、評分方式...