最後一個主題，介紹一下 Explain AI，目的是為的達到可解釋性，幫著使用方解釋和理解模型

為什麼需要可解釋性？

1. 信任和接受度: 使用者更可能信任和接受他們可以理解的模型
2. 法規遵守: 在一些領域，例如金融和醫療，解釋模型預測是法律要求的
3. 模型優化: 了解模型是如何工作的可以幫助研發人員找出可能的不足並進行改善

可解釋AI介面的核心功能

1. 特徵重要性: 介面會展示哪些特徵對預測結果影響最大
2. 案例解釋: 對特定案例的預測結果進行解釋
3. 全局和局部解釋: 提供模型整體以及單一預測的解釋

通常會透過一個 Dashboard 讓 案件調查人員, 模型稽查人員, 客服或是其他的分析團隊來查詢，其中常見的一個演算法就是 SHAP Value

什麼是SHAP值？

SHAP值（Shapley Additive Explanations）是一種遊戲理論的概念，用於解釋複雜的機器學習模型。它為每個特徵提供了一個數值，這個數值表示該特徵對模型預測的影響程度。SHAP值的總和正好等於模型對某一特定樣本的預測與模型的基線預測之間的差異

SHAP 和 Feature importance 的差異在於, SHAPR 提供了全局解釋性和局部解釋性，其中全局解釋就是指哪些特徵對於模型的預測結果影響最大，就像是 XGBoost 中內建的一個功能: Feature Importance 在做的事情，而局部解釋性就是來說明為什麼某一個案例被 Infernce 成 Positive，他會顯示某一次 Inference 中每一個特徵值對於最後 Inferecne Score 影響的比重

Why Explain AI in MLOps

除了常見的 SHAP 有時在一些 Sequence Feature 或是 Time Series Feature 中也可以用 Markov Chain 來解釋用戶行為, 在 Computer Vision 中可能會用 Heat map來提供可解釋性, 或是 Natural Language 中觀測 Transformer Weight 變化來一定程度的提供可解釋性

可解釋性對於 MLOPs 的影響，如果 Model Governance 外，也對於模型的穩定性有很大的幫助，舉例來說異常的全局解釋結果很可能帶出的訊息是模型偏重在特定的特徵，監控這一訊息，可能可以幫助你偵測 Drift 的發生，甚至把它做成一個 Model Stability 的指標