iT邦幫忙

2024 iThome 鐵人賽

0
AI/ ML & Data

從「這次不會壞吧」到自動化的未來:從 DevOps 到 MLOps,改造模型佈署之旅系列 第 15

從「這次不會壞吧」到自動化的未來:15 建模前,要思考的事

  • 分享至 

  • xImage
  •  

我們知道在做模型建立、模型驗證的時候需要思考以下幾個問題:

  • 多人協作如何紀錄分析每位協作者的實驗紀錄,如何從眾多的實驗紀錄中快速比較出預測效果最好的模型?
  • 當實驗階段嘗試很多新特徵或是不同樣式,可能有時序或無時序的資料時,如何方便管理?
  • 當發現有些實驗表現不錯,如何快速復刻該實驗?

因此,這篇文章將會和大家分享幾個有助於管理「紀錄實驗參數」、「模型訓練的 Loss 曲線」、「模型評估指標」、「儲存模型」等幾項實驗數據的好用工具,主要會介紹三個較多人使用與討論的工具: Tensorboard、Weight&Biases、MLflow。

https://ithelp.ithome.com.tw/upload/images/20241024/20169475QcJWgrWmZA.png

這些工具的目的都是在幫助團隊管理多專案與多實驗的狀況,可以輔助開發過程較為順利,所有的實驗數據都會被紀錄與備份,可以減少實驗數據遺失的風險。

這邊先提供讀者選擇工具上的建議:

  • Tensorboard : 如果是個人使用,它可以簡易快速實現模型實驗紀錄的功能,它有優秀的各種參數紀錄功能與模型架構紀錄功能,但如果要多人協作就不建議使用 Tensorboard。
  • Weight&Bias : 這個工具主要是以多人協作為主的開發平台,會將實驗紀錄上傳至雲端中,這樣可以減少團隊開發上的系統維護,只是要注意免費使用空間是 100GB。
  • MLflow : 這個工具如果要使團隊一起開發協作,需要自己建立伺服器,需要團隊維護,但好處是可以將實驗紀錄儲存在公司內部,MLflow 工具是開源且免費。

下一篇文章將與大家分享 MLOps-資料管理工具,還有哪些工具可以協助我們在開發與部署時方便管理資料

參考文獻
1.初探 mlflow-tracking- 保持 ml 實驗的可追溯性與可重現性-
2.Weights & Biases — ML 實驗數據追蹤

(撰稿工程師:顧祥龍)
完整內容 >> https://bit.ly/3Ai0DQA
Line 官方帳號,看最新技術文章:https://user137910.pse.is/aif2024ironman


上一篇
從「這次不會壞吧」到自動化的未來:14 以 HPE MLDM 實作 MLOps 資料版本控制 - 2
下一篇
從「這次不會壞吧」到自動化的未來:16 模型版本控制 - Tensorboard
系列文
從「這次不會壞吧」到自動化的未來:從 DevOps 到 MLOps,改造模型佈署之旅17
圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言