iT邦幫忙

2021 iThome 鐵人賽

DAY 20
0

前面提到的兩個範例, 一個是MNiST手寫辨識, 一個是心血管疾病的應用, 處理這兩個範例的過程中大致做了這些事

  • 資料清理: 例如處理空值
  • 選擇演算法: 我們使用了resnet與 xgboot
  • 決定參數: 第一個範例是epoch數, 第二個範例是訓練資料與測試資料的分割比例
  • 產生model與metrics: 把model與metrics記錄在MLFlow以進行比較
  • 驗證model: 例如以accuracy當做model的metric

在範例中這個過程只做兩次, 但通常為了要找出最佳的model與參數, 這個過程需要反覆執行, 也就是一直爆調參數, 調到符合我們的要求為止, 這個過程極為耗費時間與人力.

2018年, Google在Google Cloud NEXT 大會上正式推出新一代機器學習產品:Cloud AutoML, 讓資料清理、選擇演算法、決定參數的任務可以很容易完成並且可以得到優化後的模型, 接著在機器學習的領域, AutoML就成為機器學習領域的熱門主題.

Amazon SageMaker平台上也有AutoML的功能, 稱為 auto pilot. 例如上傳一個表格資料(csv檔), 並且在SageMaker auto pilot中指定target(就是你要推論的目標欄位), 這樣auto pilot就會回傳最佳模型與參數, 然後再將這個最佳模型進行部署. 在執行autoML的過程中, 會經過下列步驟, 例如前六個步驟是

  • Pre-processing
  • Candidate Definitions Generated
  • Feature Engineering
  • Model Tuning
  • Deploying Model
  • Explainability Report Generated

https://ithelp.ithome.com.tw/upload/images/20211003/20140792OWMQQB9f8i.png

需要等待一段時間才會完成, 完成之後會列出訓練過後的model列表, 並且在最佳model上打個星號, 這時候你就可以使用這個best model進行部署.

以上述的使用情境來看, 的確可以讓非專業資料科學家也能取得一個可用的(或最佳的)的model, 大幅降低對AI技術的要求門檻, 讓企業或組織能以比較容易的方式進入AI領域.

除了各大雲端平台之外, 也已有多個open source專案提供AutoML library, 例如

下一篇, 將使用auto-sklearn為範例說明AutoML的使用方法


上一篇
整合架構說明
下一篇
使用auto-sklearn demo AutoML
系列文
AI平台初學者工作坊: 從training、tracking到serving30
圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言