SageMaker Clarify(SageMaker Studio 的一部分)

• 評估foundation model，比如比較模型A與B的表現差異
• 可以使用Clarify來評估人性化因素，比如friendliness、humor，而評估這些特性，必須有人類參與(AWS協助或自己公司員工)
• Clarify提供內建資料集可直接使用、也可以自定義資料集與題目
• 內建的評估指標與演算法都可供選擇
• 這個過程中，人類會參與評估模型的行為與表現
• Model Explainability
  了解模型的運作原理，以及它為何會做出特定的預測
  Clarify提供工具來說明模型的決策依據，部署前理解模型特性並且部署後用來偵錯
• Detect Bias (human)
  了解資料集與模型中的偏差來源，透過統計指標來測量
  可以指定要觀察的feature，SageMaker Clarify會自動偵測bias
  ex: 觀察樣本分布不均

SageMaker Ground Truth

• 基於RLHF也就是從人類回饋中進行強化學習
• 使用它進行模型審查、客製化與評估，使模型與人類偏好一致
• 在機器學習過程中結合人類的回饋，以便從人類觀點建立與評估模型、生成資料或標註資料
• SageMaker Ground Truth Plus: SageMaker Ground Truth 的功能，利用人工工作者來執行資料標註任務