iT邦幫忙

2021 iThome 鐵人賽

DAY 9
0
AI & Data

從 AI 落地談 MLOps系列 第 9

Day 09 : 用於生產的機械學習 - 定義範疇 Scope

  • Day 05 ML 專案生命週期介紹分為 4 個階段與 7 大主題,第 1 個階段為「定義範疇 Scoping」,相較其他 3 個階段,Scoping 較偏管理知識面的討論,有專案發想經驗的您應該不陌生,我們會試著把商業命題轉換為 AI 命題。

以下延續吳恩達 Machine Learning Engineering for Production
(MLOps) Specialization
系列課程所提的 ML 專案生命週期架構進行說明。

定義商業命題

  • 一個明確的商業命題可以引領專案往好的方向發展。對參與其中的您而言,專案方案理解越清晰,團隊運行及專案發展也越容易成功。
  • 在命題的過程中,要思考的包含:
    • 專案的目的是什麼?
    • 要如何衡量績效?
    • 需要哪些資源?

專案的目標是什麼? 透過腦力激盪吧!

  1. 設想目標有時很單純(老闆說要做),也有採取一種比較開放的方式,透過「對商業問題腦力激盪」可能有較佳的設想,畢竟 ML 專案需要企業資源投入,在起步階段,也面臨較多的不確定性。
  2. 簡單的想法是羅列出面臨的「問題」,激盪對應的「解決方案」,排列問題的重要性以及時效性。
  3. 同時,再進一步聚焦這個問題一定要 AI 解決嗎? 如何解決? 「對 AI 解決提案的腦力激盪」,不是所有命題都需要藉由 AI 完成的,開放且審慎的評估適切的目標達成做法,總比頭洗下去卻方向錯誤的好。
  • 設定專案目標腦力激盪的過程中,也同時「評估可行性與潛在價值」,好的開始是成功的一半,毋須躁進。
  • 舉例一些對於 AI 相關的命題,例如:
    • 改進建議系統。
    • 改進搜尋結果。
    • 改進分類系統。
    • 產品定價優化...

要如何衡量績效、定義里程碑與資源?

  • 一旦作為 ML 專案,績效衡量可以用不同的指標綜合評判(順便做個儀表板?)
    • 基於模型的準確率、loss、RMSE、F1等。
    • 系統效能的延遲、計算時間、耗能等。
    • 商業成果,如投報率等。
  • 衡量績效的標準,可以參考:
    • 既有服務展現的水準。
    • 開源專案展現的水準。
    • 基於「人類表現的水準」。非結構性資料(圖片、聲音、文字)可以用人類表現水準 HLP (Human-level Performance) 來設定目標。 HLP 一詞來自吳恩達 deeplearning.ai 提出,在其電子報中討論基於 HLP 而非追求更高績效的想法。
    • 有限的時間基準。
    • 在較不明確的狀況下,可以透過標竿學習、概念驗證 POC 掌握專案輪廓。
  • 需要哪些資源?
    • 啟動專案的資源規劃,如所需人力、時間、成本、設備等。

AI模型的績效一定要超過人類水準?

  • 在衡量模型績效時可能會落入一個迷思,就是AI模型的績效一定要超過人類水準,但如果分為結構性資料、非結構性資料(圖片、聲音、文字)衡量績效,確實結構性資料的績效可能大於 HLP ,但非結構資料如果連人類都無法判讀,又如何檢視您的 ML 模型表現是否真的如此優異?
  • 舉例來說瑕疵檢測、語音辨識,在遇到逼近或略為大於 HLP ,您可以將目光移至有關安全性、偏見、稀有類別的性能。
\ 非結構資料 結構資料
新服務 HLP Benchmark
既有服務 過往服務水準、HLP 過往服務水準、Benchmark

確認沒有道德疑慮

  • 企業服務是需要負社會責任的,在進行 ML 專案開頭時,應該確認專案有無道德疑慮,是否有潛在的偏見風險。您不會希望辛苦做出來的人臉辨識,卻發生像臉書AI將黑人影片誤標為靈長類的狀況。

小結

  • 本日簡要介紹在定義範疇階段可以的流程及注意的事情,可以透過腦力激盪探詢欲定義問題到構思解決方案,進一步釐清是否要發起 AI 專案,衡量績效的方式與績效基準,以及需要的資源。
  • 人類的表現 HLP 在聲音、影片、文字的辨識能力是很強大的,讓您的 ML 能達到 HLP 就有替代人力的機會,或許您可以轉移注意力到預測伴隨的安全與道德問題。

參考


上一篇
Day 08 : ML 工程師職責與分工
下一篇
Day 10 : 用於生產的機械學習 - Data Define 與建立基準
系列文
從 AI 落地談 MLOps30

尚未有邦友留言

立即登入留言