以昨天討論的內容為例,我們可以讓每個流程都變成自動化。以下分成兩種場景來說明有哪些部分可以利用 MLOps 的工具讓流程更快速便捷,場景為實驗階段及佈署階段:
此階段是屬於模型正在開發研究的階段,所以在資料處理、模型建立上都還沒有選定較穩定的特徵、模型、超參數等等。同時因為有很多的超參數組合需要嘗試,或是有好幾個開發團隊成員需要同時使用到運算資源,因此需要排程管理,讓我們的實驗能夠按照時間分配逐步執行。
當實驗完成後,我們會需要將實驗結果記錄下來,一旦未來有新的模型實驗,然後回頭比較哪個實驗結果較好,並挑選出最優的選擇。這時候就需要有版本記錄的功能。
當專案經過一番實驗後,會得到較穩定的特徵、模型與超參數,這時就需要佈署上線,並期許能在固定時間內針對新資料進行模型重新訓練,而在這階段利用新資料進行重新訓練是非常重要的功能。
在上線後我們也能利用 MLOps 的工具來監控模型的準確率是否有下降,或是收集的資料分佈狀況與過去的訓練資料差異甚大,這都能讓 MLOps 來監控,並且提供預警!
在完整的 MLOps 流程導入後,大多數的流程都將由 MLOp 工具自動化完成(如紅框所示),而且最後都還會讓工具自動排程幫忙重新訓練新資料,當問題發生後還能提供預警。
完整內容 >> https://bit.ly/3Xyom6K
Line 官方帳號,看最新技術文章:https://user137910.pse.is/aif2024ironman
(撰稿工程師:王維綱)