iT邦幫忙

2021 iThome 鐵人賽

DAY 5
0
AI & Data

從 AI 落地談 MLOps系列 第 5

Day 05 : ML 專案生命週期

  • 從無到有開發 ML 專案到佈署需要 6 至 12 個月不等,在尚未有具體產出的過程中,會有對內部及外部說明進展的機會,能有架構、系統的與合作對象說明是很重要的。吳恩達在 2021 年 4 月在 吳恩達在 2021 年 4 月在 DeepLearning.AI 發布的電子報歸納了出 4 大階段,用以描述 ML 專案生命週期,也是後續開發新課程架構的主要輪廓。

  • 隨後, 2021 下半年在 Coursera 推出上述 Machine Learning Engineering for Production
    (MLOps) Specialization
    (MLEP) 系列課程計 4 門,架構如下:

  • 您可以看出在較新的ML產品生命週期圖示,整合為四大階段並歸納 7 個主題,用以描述用於生產的機械學習工作流程,這樣的工作流程實際上並非是轉圈圈的循環圖,而是有向無環圖(Directed Acyclic Graph (DAG)),箭頭表示了工作流程及相依性。

架構摘述

  • 簡述4個階段與7大主題,之後文章會以此架構再進一步說明:

    • 範疇Scoping
      • 定義專案: ML專案的商業考量目標。
    • 資料Data
      • 定義資料與建立基準。
      • 標註與組織資料。
    • 建立模型Modeling
      • 選擇與訓練模型。
      • 錯誤分析。
    • 佈署Deployment
      • 在生產情境中部署。
      • 監控與維運系統。
  • 上圖點出用於產品的ML專案需要注意的事情,舉例如:

    • 標註數據:
      • 您很難一次性的取得乾淨的資料,可以先標註數據後,透過建立指引檢查並改具數據,(本系列文後續會說明作法)。
    • 訓練模型:
      • 建構AI系統的輸入是要決定使用哪些「數據」、「超參數」和「模型架構」。與其過度考慮這些選擇,不如訓練初始模型,然後透過錯誤分析推動改進。
    • 部署和監控:
      • 在部署ML系統時,您需要設計符合需求的監控指標與儀表板,以嘗試發現概念漂移或資料漂移。

Azure 的 ML 專案工作流程

  • 通常會在具有目標和目標的專案中開發模型。 專案通常牽涉到一個以上的人。 使用資料、演算法和模型進行實驗時,會反復開發。

  • Azure Machine Learning Pipeline 可以包含 ML 生命週期的相關工作,依該文件說明包含如下,並且有設計工具協助:

    • 資料準備,包括匯入、驗證和清除、改寫和轉換、正規化以及暫存。
    • 訓練組態,包括參數化引數、檔案路徑,以及記錄/報告組態。
    • 有效且重複地訓練和驗證。 效率可能來自指定特定的資料子集、不同的硬體計算資源、分散式處理和進度監視。
    • 部署,包括版本控制、調整、佈建和存取控制。

小結

  • 您在搜尋網路上諸多傳統的 ML pipeline 流程圖,會發現工作流程步驟相當複雜且一致,這也是資料科學、資料工程、機械工程、佈署維運彼此之間的專業價值。
  • 本系列文引用的 ML 專案生命週期相當清晰,也可以更能聚焦在「資料為中心」的任務流程與工作價值,希望對您有幫助。

參考


上一篇
Day 04 : 以資料為中心的人工智慧 Data - Centric AI
下一篇
Day 06 : 什麼是 MLOps
系列文
從 AI 落地談 MLOps30

尚未有邦友留言

立即登入留言