今天會詳細討論Preference Data 的品質問題
所有「偏好標籤不可靠」的原因，可以分成兩大類:

第一大類:規格/設計層面的問題

就算標註員都很認真、很專業，問題還是會發生，因為是任務本身設計不良。

解法:
寫清楚且具體的標註規範 → 把單一模糊問題拆成多軸評分 → 讓標註員對著同一批「邊界案例(edge case)」討論，對齊彼此的判斷標準

第二大類:執行層面的問題(標註過程中產生)—— Label Noise

就算任務規格設計得很清楚，人在執行標註的當下還是會出錯或不穩定。

解法:

1. 多重標註 + 多數決或加權聚合
2. 在標註流程中穿插已知正確答案的題目，可以有效監控與激勵標註員產出高品質標註
3. 過濾雜訊樣本、套用標籤平滑化以及設計對雜訊更穩健的損失函數

Takeaway

• 從兩大方面看 Preference Data 品質問題
• 關鍵在於先正確診斷問題屬於「規格層」還是「執行層」(或兩者皆有)，再對症下藥——規格層用「拆軸 + 規範 + 校準」，執行層用「多重標註 + 品管 + 穩健訓練演算法」，同時保留一份「這是有效多元分歧」的例外名單

有了乾淨的偏好資料之後，下一個問題就是:怎麼把這批資料變成真正能訓練模型的訊號?明天我們就從 DPO vs PPO 開始拆解~