iT邦幫忙

2021 iThome 鐵人賽

DAY 29
0
AI & Data

AI平台初學者工作坊: 從training、tracking到serving系列 第 29

在Edge上進行部署(Serving)

上一篇我們已完成口罩影像資料的部署, 這個部署是將model serving在workstation上. 所謂的Nilvana workstation有比較強的系統資源, 而且具有GPU可以執行training. 但GPU的價格較為昂貴, 而且在執行推論時也不一定需要使用GPU, 因此Nilvana同時也推出edge架構, 是一台可執行推論的device, Nilvana的架構如下圖

https://ithelp.ithome.com.tw/upload/images/20211012/20140792aZjyusONKG.png

接下來我們就來把前面訓練好的model部署在edge上.

首先我們models頁面點擊Download
https://ithelp.ithome.com.tw/upload/images/20211012/20140792CqDZUOvyKB.png

接著我們開啟edge的操作頁面(如下圖). 在上方功能列點擊New Project.
https://ithelp.ithome.com.tw/upload/images/20211012/201407928mNIMqTKy5.png

輸入project名稱為edenmask
https://ithelp.ithome.com.tw/upload/images/20211012/20140792rNNyVc8fyv.png

在新project之中還沒有入任何model, 我們來上傳一個, 請擊Upload model
https://ithelp.ithome.com.tw/upload/images/20211012/20140792aPRaapha84.png

畫面會回到上傳model的畫面, 請點擊右邊的Upload
https://ithelp.ithome.com.tw/upload/images/20211012/20140792O226u35UMC.png

把我們剛剛下載的model上傳上去, 完成後如下圖
https://ithelp.ithome.com.tw/upload/images/20211012/20140792mfzxQbtYkG.png

這時回到左側inference功能, 在edenmak專案中就可以看到我們上傳的model.
https://ithelp.ithome.com.tw/upload/images/20211012/2014079201EuQ1Iys8.png

點擊已上傳的model之後, 因為我們要取得ednpoint後進行二次開發, 所以點擊API Endpoint
https://ithelp.ithome.com.tw/upload/images/20211012/20140792qydVoWqYDu.png

下圖即是建立好的endpoint資訊頁面
https://ithelp.ithome.com.tw/upload/images/20211012/20140792yVLwOTBYxY.png

使用postman取得推論結果

接著我們來試著使用Postman來存取這個endpoint看看

  • 在Postman畫面中請輸入前項步驟所產生的API url
  • 在body的地方選擇form-data, 在key欄位選擇file並且給一個名稱為image, 然後將一張照片上傳上來
  • 送出之後就可回傳推論的結果(如下圖), 推論的結果是圖片中的人有載好口罩, 而且信心程度是 1.0(真的很有信心)
    https://ithelp.ithome.com.tw/upload/images/20211012/201407927UKElcBLy2.png

到這裡, 我們已經使用Nilvana進行labeling、traning與serving. 經由Nilvana平台執行這些動作都變得很容易使用(不需要再自己手動安裝與設定所需工具), 是一個值得推薦的產品


上一篇
建立Endpoint執行二次開發
下一篇
結語: AI平台的六個ING
系列文
AI平台初學者工作坊: 從training、tracking到serving30

1 則留言

0
juck30808
iT邦新手 3 級 ‧ 2021-10-12 18:39:24

恭喜大大即將完賽XD !!!

mason1762 iT邦新手 5 級 ‧ 2021-10-12 21:46:39 檢舉

謝謝囉

我要留言

立即登入留言