iT邦幫忙

2023 iThome 鐵人賽

DAY 11
0
AI & Data

MLOps/LLMOps - 從零開始系列 第 11

Day11 - 重新檢視 MLOps 流程 (Development stage)

  • 分享至 

  • xImage
  •  

一般來說,針對 Machine Learning workflow 有幾個大方向的建議:

  • 針對每個階段 (stage) 都有獨立的環境。例如:開發、測試、產品環境
  • Access Control and versioning: 針對階段的環境與資料,需要有適當的存取控制與版本控制
  • Deploy code, not model: 除了 Model 之外,有意義的資訊通常在於調校的參數、環境配置與開發程式碼

https://ithelp.ithome.com.tw/upload/images/20230926/200916435HbW3nxSr8.png

以下針對 Development stage 的重點部分作說明。

The focus of the development stage is experimentation. Data scientists develop features and models and run experiments to optimize model performance. The output of the development process is ML pipeline code that can include feature computation, model training, inference, and monitoring.

以中文來說,Development stage 的重點在於實驗。資料科學家會開發特徵與模型,並且透過實驗來優化模型的效能。開發的結果會是一個 ML pipeline 的程式碼,包含了特徵計算、模型訓練、推論與監控。

  1. Data source

資料科學家在開發環境通常只有唯讀的存取權限。為了符合資料治理的需求,有些特殊情形之下,開發環境可能可以存取到 Production 環境的 Mirror 版本,或是經過刪減的版本。

  1. Exploratory data analysis (EDA)

  2. Code
    就是資料科學家的開發階段與相關的程式碼。

  3. Update feature tables
    The model development pipeline reads from both raw data tables and existing feature tables, and writes to tables in the Feature Store.

中文來說明上述的部分,就是機器模型的開發 pipline 是從 Raw data 與 Feature 讀取資料,並且將結果寫入 Feature Store。

  1. Train model

  2. Commit code

下一篇會介紹 Staging stage 的部分。

Refernce: https://docs.databricks.com/en/machine-learning/mlops/mlops-workflow.html


上一篇
Day10 - 從 MLflow 操作複習 MLOps 的基本觀念
下一篇
Day12 - 重新檢視 MLOps 流程 (Staging stage)
系列文
MLOps/LLMOps - 從零開始30
圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言