iT邦幫忙

2021 iThome 鐵人賽

DAY 3
0
AI & Data

AI平台初學者工作坊: 從training、tracking到serving系列 第 3

範例一:使用MNIST資料進行訓練與模型部署

在第一個範例中將會使用MNIST手寫辦識資料集進行訓練與模型部署.

MNIST說明

MNIST database((Modified National Institute of Standards and Technology database)裡面有手寫數字的圖片, 是由美國國家標準暨技術研究院所收集, 可以參考這個網站

會使用MNIST的原因, 一來這個資料集的資料size不會占用過多儲存空間(大約需要20多MB), 另一方面目前已有很多MNIST的資料可以看參考, 是初學者執行機器學習應用中常使用的資料集.

下圖是MNIST database中的一個圖像:數字6
https://ithelp.ithome.com.tw/upload/images/20210916/20140792b5ii5oWNy4.png

針對MNIST再提供下列資訊:

  1. 每張MNIST的大小為28x28 pixel
  2. 資料集包含60,000張訓練影像檔與10,000張測試影像檔
  3. 下載資料集之後, 解開壓縮檔會包含二個目錄, 分別是train目錄與valid目錄, 而且在train目錄與valid目錄下會有0-9共10個目錄, 這10個目錄就是做為標籤(Label)使用, 因為會將所屬的數字圖像放在所屬的目錄中, 例如數字6的圖像就會放在目錄名稱為6的目錄

在本範例中, 將會在jupyer notebook下載資料集進行使用, 因此不需要事先下載.

範例一的平台工具說明

在本範例所使用的平台工具會使用到JuypterHub, MLflow與Web Server(Django), 如下圖所示:
https://ithelp.ithome.com.tw/upload/images/20210916/20140792rg01d01M90.png

  • Trainging
    • 會自行安裝JupyterHub, 目的是用來撰寫notebook並執行訓練
  • Tracking
    • 會自行安裝MLFlow, 目的是用來記錄每次訓練的parameter、metric與model
  • Serving
    • 會自行安裝Web Server(使用Django), 目的是提供endpoint, 讓使用者可以存取這個endpoint之後取得推論結果

我們下一篇就來安裝JupyterHub

參考資料

http://yann.lecun.com/exdb/mnist/


上一篇
安裝kubeadmin
下一篇
安裝Jupyterhub
系列文
AI平台初學者工作坊: 從training、tracking到serving30

尚未有邦友留言

立即登入留言