iT邦幫忙

2021 iThome 鐵人賽

DAY 25
0

機器學習的應用程式,介於使用者面向服務、統計學和計算機科學有所交集的領域。使用者面向服務包含個別用戶以及企業用戶。當機器學習服務在市場上愈來愈常見的同時,我們也須關注這樣的行為改變,所帶來的社會影響。商業本身也從各方面在影響人類群體的文化與行為。

當所有的決策都透過機器學習模型取代,模型所反映出來的價值觀與影響,就會取代原本透過人類做的決定,原本在人類價值觀選擇下,會產生的改變跟影響。也因此,每個機器學習產品,都有其影響力和風險存在。對技術的適應,產生的影響可以是好的,也可以是不好的。然而負責任的機器學習專案,則可以透過:人員、流程和技術,這三方面來討論。


*圖片來源:Responsible Machine Learning

人員

包含審計人員、領域專家、UI/UX專家。

透過人工審計的方式,提高幕後透明度以及對機器學習系統進行更好的安全測試,以增強人類對機器學習的理解和信任。在審計過程,可以檢視的細節例如:
(1)機器學習系統清單
(2)提名負責人
(3)對已記錄的機器學習系統進行內部執行和技術審查
(4)在部署機器學習系統之前需要技術和執行人員簽字
(5)仔細記錄、驗證和監控所有機器學習系統

而領域專家也在這個過程扮演了重要的角色,不僅確保該產業的資料特性可以被正確的對應到模型之中,在模型解釋階段,也能夠透過自身經驗提出支持或者發現異常現象。

在一個模型服務上線的時候,該產品的使用介面以及流程設計,也佔據了使用者是否能夠成功適應新功能的絕大部分原因。舉例來說,使用者可能會誤解設計不佳的模型解析資訊,從而導致流程失敗、客戶不滿等等。因此透過UI/UX專家的協助,幫助使用者在使用這些新功能的時候,不需改變既有的行為,同時也能與模型推論出來的結果互動。

除了以上三個角色之外,在一個系統能夠做到完善之前,也會需要確保客戶申訴管道暢通,且根據各個使用案例有繼續處理。並且在也要能夠設計一些機制,若是根據使用者反映,需要關閉機器學習系統、或人工介入時,也確保系統的執行正確與流暢。

流程

偏見、數據隱私、安全性與合規性、應對方案

在資料輸入以及模型訓練的過程中去檢驗是否有偏見存在:
(1)標籤或註釋的定義。會不會在初期標記資料時就已經有偏見在裡面。
(2)不具有代表性的數據。使用的資料能否代表大部分使用者。
(3)與人口群體成員相關的準確數據

檢查資料時,需要去觀察這些差異是否反映出某種歧視。又資料本身的詮釋,是否帶有任何的歧視在裡面等等。

在用戶資料的隱私上,是否確保:
(1)取得用戶同意使用
(2)數據收集的法律依據
(3)與隱私政策保持一致
(4)匿名化要求
(5)資料保存要求和限制

在安全性與合規性上,我們前幾天已經透過MLOps在金融產業: 4個步驟建立安全ML環境MLOps在金融產業:看懂金融審計如何導入ML專案(附所需文件清單)討論金融業的案例。

另外則是針對機器學習的事件應對,不管是機器學習系統,或者是一般系統,都有可能會有故障、意外事件,需要排除以及應對。除了技術上的影響之外,是否也會造成商業上、公司對外的企業形象影響等等,可能也須提前規劃與思考。包含系統本身為什麼這樣做決策,造成哪些使用者族群的不公平或者傷害,這些影響會需要哪些部門的同事一起來解決這個問題。

技術

負責任的系統,包含可再現性可解釋性基準模型模型安全。這些我們都曾經在前幾天的文章當中提過。可以再點回去複習一下。

結語

不管是軟體專案、機器學習專案,身為開發者以及產品負責人,都應該對於自己所能帶來的影響力有所認知。不僅是讓自己的工作更有使命感,更重要的事也能夠察覺,系統對人類社會可能帶來的改變與影響。ML專案本身不僅是,技術上,同時也包含專案相關參與人員、使用者、也包含流程上。這三部分使得一個系統更完善,也更為此負責任。

Reference
[1]. Responsible Machine Learning


上一篇
管理、技術、商業層面來看:應該買一個?還是自己建一個機器學習系統?
系列文
談MLOps - 模型、專案架構、產品化及維運29
圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言