Responsible AI

• 確保在AI的lifecycle:design、development、deployment、monitoring、evaluation中，都具有透明性(transparent)與值得信任(trustworthy)

Security

• 確保CIA(confidentiality、integrity、availability)

Governance

• 透過明確的政策、指導方針與監督機制，確保企業在營運中能創造價值並管理風險

Compliance

• 確保遵守法規與指引

Responsible AI

• Fairness: 促進包容性，防止歧視
• Explainability: 根據模型的輸入與輸出，能合理推測模型為何得出某個結論
• Privacy and security: 個人能掌控資料何時被模型使用
• Transparency
• Veracity and robustness: 在意外情況下仍保持可靠
• Governance
• Safety: 確保演算法對個人與整個社會都是安全
• Controllability: 讓模型的行為與人類的價值觀與意圖保持一致

協助實現Responsible AI的AWS服務

• Amazon Bedrock: 使用human或automatic evaluation模型，確保模型在benchmark test中具有足夠的品質；Guardrails，用來篩選內容、移除個資、封鎖有害內容
• SageMaker Clarify: 針對FM進行accuracy、robustness、toxicity等評估，偵測資料中的bias
• SageMaker Data Wrangler: 修正bias平衡資料集，Augment Data可以為代表性不足的群體生成新的資料實例
• SageMaker Model Monitor: 監控生產環境中模型的品質分析
• Amazon Augmented AI(A2I): 在模型信心度較低的情況下，使用人工審查
• Governance: SageMaker Role Manager(針對權限的安全管控)、SageMaker Model Cards(記錄模型文件)、SageMaker Model Dashboard(同時查看所有部署中的模型)

AWS AI Service Cards

• 提供Responsible AI的文件
• 能幫助了解服務及其功能，其中包含預期的使用案例與限制、Responsible AI的設計選擇、以及部署與效能最佳化的實務建議

interpretability(可解釋性)

• 能夠理解模型輸出，能知道"為什麼"與"如何"形成這兩個問題
• 有高度(transparent)，就需要高interpretability，但是效能會降低
• Linear Regression可解釋性高，清楚知道如何形成的以及代表什麼
  ex: Decision Tree可用於classification與regression任務，在Decision Tree中資料是依據feature values進行分割的。Decision Tree能清楚呈現模型做出決策的邏輯過程，因此可解釋性極高
• Neural Networks可解釋性低

explainability(可說明性)

• 對機器學習模型的性質與行為的理解
• 一般具備explainability就已足夠

Partial Dependence Plots (PDP)

• 協助提高模型的interpretability，也就是了解哪些變數對模型產生影響
• 選擇一個feature並且變動該feature的值，而其他未被選擇的feature維持不變，觀察該feature如何影響模型的預測結果
• PDP圖有助於理解模型的行為，當模型屬於black box(Neural Network)時，PDP圖能夠有效提升模型的interpretability與explainability

Human-Centered Design (HCD)

• 設計的AI系統應該以人類的需求為優先考量
• Design for Amplified Decision Making
  協助人在高壓或高風險的決策環境中使用AI，並降低風險與錯誤
  設計時注重，Clarity(清晰性)、Simplicity(簡單性)、Usability(可用性)
• Design for unbiased decision-making
  決策過程避免各種形式的偏見
  使用AI的決策者，也要能辨識並減少偏見
• Design for human and AI learning
  cognitive apprenticeship: AI系統從人類導師與專家身上學習
  當人類從AI系統中學習時，也同時要滿足使用者的需求與偏好
  user-centered design: AI能被各種不同的使用者群體所使用