iT邦幫忙

2021 iThome 鐵人賽

DAY 22
0
Arm Platforms

爭什麼,把AI和MCU摻在一起做tinyML就對了!系列 第 22

[Day 22] Edge Impulse + BLE Sense實現喚醒詞辨識(下)

=== 書接上回 [Day 21] Edge Impulse + BLE Sense實現喚醒詞辨識(中) ===

重新訓練

通常不滿意模型訓練出來的成果,可透過下列方式來調整。

  • 新增資料集,增加多樣性,並使各分類的樣本數量平衡。
  • 加入更強的背景雜訊(資料擴增手段),使模型更具強健性。
  • 修改模型結構,使其更深、更廣、更複雜、更有學習能力。
  • 改變訓練次數及學習率。目前學習率在「簡易模式」操作畫面時是採固定值,若想要動態調整則需進入「專家模式」自己修改優化函式(預設為Adam)及設定值。
  • 其它「專家模式」參數。

變更調整後,可以於「Impulse design - NN Classifier」頁面按下【Start Training】,或者在「Retrain model」頁面按下【Train Model】重新訓練模型即可。

模型測試

模型訓練好了,當然要來驗證一下。在前面章節資料有提到,除了訓練集外,另有保留20%的測試集(4個分類各4筆, 共16筆資料),這些是沒有參與訓練過程的。接著進入「模型測試(Model Testing)」頁面,按下【Classify all】就能自動把測試集全部內容進行推論,最後會得到每一筆資料的辨識結果和總體精確度,四個分類的混淆矩陣及特徵分佈結果圖,如圖Fig. 22-1所示。系統預設是否分類正確的門檻值是0.6,如有需要可自行點擊【Classify all】旁的點符號進入修改。如果不滿意測試精確度,可參考「重新訓練」小節的說明。

Edge Impulse模型測試流程
Fig. 22-1 Edge Impulse模型測試流程。(OmniXRI整理繪製, 2021/10/7)

即時分類

再來可即時收錄一段聲音來做測試。切換到「即時分類(Live Classification)」頁面,設定取樣時間長度及取樣頻率。通常可設長一點,10到20秒,可一次說出不同分類的單詞內容(含不發聲的背景聲,單詞間要有間歇),方便後面可一次測完不同分類。當按下【Start Sampling】等待數秒就會開始錄製,完成後會自動上傳到雲端同時產出分類結果報告,包括各分類的統計數量、每筆資料每個分類的置信度(機率)。點擊每資料還可觀看對應的原始聲音信號波形,按下三角形播放鍵時還可回聽,方便檢查分類是否正確。最後還會把所有分割出的內容特徵分佈圖展示出來。如圖Fig. 22-2所示。

系統預設取樣移動視窗為500ms,一次擷取1000ms來分類,這裡不像前面資料擷取時有自動分割的功能,而是模仿在MCU上連續不停的取樣分析,所以如果對於移動距離和檢測門檻值不滿意時可自行調整。

Edge Impulse即時分類流程
Fig. 22-2 Edge Impulse即時分類流程。(OmniXRI整理繪製, 2021/10/7)

參數調校(EON Tuner)

這是Edge Impulse 2021/9 才剛推出的新功能,可暫時忽略跳過這個步驟。EON全名Edge Optimized Neural Tuner。顧名思義這是一項AutoML的工具,可叫系統花點時間幫你找最佳的MCU AI模型。但現想很豐滿,現實很骨感,其表現是否會比有經驗工程師設計的模型來的表現更好,就有待觀察,這裡就暫時略過說明。有興趣的朋友可先參考官方釋出的Youtube說明影片

版本管理

如果想要記錄訓練出的基本資料,Edge Impulse也有支援雲端儲存備份的功能,進到「版本管理(Versioning)」頁面,按下左上角【Store your current project version】即可記錄下目前版本的重要資訊,達到MLOps的基本能力,其主要動作如下顯示。

/* Edge Impulse 版本管理主要動作 */

[1/9] Retrieving project and block configuration...
[2/9] Classifying test data...
      Generating features for MFCC...
      Classifying data for NN Classifier...
      Classifying data for float32 model...
[3/9] Creating C++ library...
[4/9] Retrieving 81 data items...
[5/9] Writing data...
[6/9] Waiting for S3 mount to become available...
[7/9] Archiving files...
[8/9] Uploading version...
[9/9] Storing version x...

模型佈署

好不容易訓練、測試、調整好的模型,最後還是得佈署到開發板上,讓MCU直接運行才算是真的tinyML, Edge AI,相關流程如圖Fig. 22-3所示。目前Edge Impulse提供兩種方式佈署,如下所示。

  • 產生函式庫:產生函式庫源碼及基本動作主程式,方便開發者再加入自己的程式碼後,再以對應的IDE進行編輯組譯。目前可支援下列類型。
    • C++ (Windows, Linux, MacOS...)
    • Arduino
    • Cube.MX CMSIS-Pack (STM32)
    • WebAssembly
    • TensorRT (Nvidia)
  • 產生燒錄檔:直接產生指定開發板的二進製燒錄檔案(*.bin, *.hex等),再以Edge Impulse提供的燒錄程式把檔案燒進開發板中。這樣的好處是不用寫半行MCU程式,而運行後會將辨識結果字串透過虛擬序列埠送出,電腦端接收到後再自行對應到其它程式及人機界面上。目前支援下列開發板。
    • ST IoT Discovery Kit
    • Arduino Nano 33 BLE Sense
    • Eta Compute ECM3532 AI Sensor
    • Eta Compute ECM3532 AI Vision
    • SiLabs Thunderboard Sense 2
    • Himax WE-I Plus (奇景光電)
    • Nordic nRF52840 DK + IKS02A1
    • Nordic nRF5340 DK + IKS02A1
    • Nordic nRF9160 DK + IKS02A1
    • Sony Spresense
    • Linux boards

Edge Impulse雲端這邊,同時只能二選一輸出,當選擇好了,頁面下方會出現RAM, Flash使用量、推論時間(Latency)、模型精確度及混淆矩陣。另外還可依使用資源及推論效果來選已量化成8位元整數(INT8),或者未量化前的32位元浮點數(Float32)的模型輸出。最後按下【Build】就會開始建置,前者只是轉出源碼,所以速度較快,而後者要完整編譯,所以要等比較久一點。當完成後,兩者都會產生一個ZIP格式壓縮檔。

另外最近Edge Impulse剛推出EON編譯器(和前面提到的EON Tuner工作內容不同),可再對模型進行深度優化,號稱最高可達50%的簡化,但從圖表上的數字來看,這個模型太小,所以降幅也不大。可自行選是否要開啟這項功能,沒有強制性。或者輸出兩種,再自行比對其表現性。

Edge Impulse 模型佈署流程
Fig. 22-3 Edge Impulse 模型佈署流程。(OmniXRI整理繪製, 2021/10/7)

接著說明如何將程式燒錄到開發板上,同樣地也有兩種模式,可以自行選擇。

  • 直接燒錄
    以「Arduino Nano 33 BLE Sense」為例,解壓縮kws_test-nano-33-ble-sense-v4.zip(kws_test為專案名稱,會依實際專案名稱而不同)後會得到二進制檔(MCU韌體)firmware.ino.bin和燒錄程序檔flash_windows.bat(windows用),執行後者就能把程式燒進開發板中。

  • 使用Arduino IDE編譯上傳
    開啟Arduino IDE前,記得把「edge-impulse-daemon」的命令列視窗關閉,以免佔住序列埠的使用權,導致後面編譯好的程式無法上傳。接著開啟Arduino IDE,點選[主選單]-[草稿碼]-[匯入程式庫]-[加入ZIP程式庫...],選擇剛才Edge Impulse產出的ei-kws_test-arduino-1.0.3.zip(kws_test為專案名稱,會依實際專案名稱而不同)。接著點選[主選單]-[檔案]-[範例]-[KWS_test_inferencing]下的[nano_ble33_sense_microphone_continuous]產生可執行麥克風連續收音的範例程式。按左上角快捷鍵箭頭符號按鍵,進行MCU程式編譯及上傳。

    完成上傳後,點選[主選單]-[工具]-[序列埠監控視窗]開啟監控視窗(預設鮑率115,200bps),就能看到辨識結果的字串不斷的更新。此時對著開發板的麥克風說「紅」、「綠」或其它中文單詞及不說話(背景音)來測試輸出的字串及對應的置信度(機率)是否正確。完整的程序如圖Fig. 22-4所示。

Edge Impulse 模型經Arduino編譯上傳流程
Fig. 22-4 Edge Impulse 模型經Arduino編譯上傳流程。(OmniXRI整理繪製, 2021/10/7)

小結

經過連續三天的介紹,恭禧大家終於完成第一個tinyML專案,自定義中文單詞(喚醒詞)辨識。有沒有感覺透過這樣一站式開發工具比起[Day 16]、[Day 17]介紹的方法節省了不少力氣,尤其是開發環境建置和資料集建置。後續還有更多案例分享,敬請期待。

參考連結

Edge Impulse Tutorials - Responding to your voice 說明文件
AI Tech Talk from Edge Impulse: EON Tuner: AutoML for real-world embedded devices
Edge Impulse Tutorials - Running your impulse locally


上一篇
[Day 21] Edge Impulse + BLE Sense實現喚醒詞辨識(中)
下一篇
[Day 23] 讓tinyML感受你的律動
系列文
爭什麼,把AI和MCU摻在一起做tinyML就對了!31

1 則留言

0
kodyds
iT邦新手 5 級 ‧ 2021-10-14 22:12:23

我們只split了training set跟test set,那train好modle之後,它顯示的validation set是哪來的呢?https://ithelp.ithome.com.tw/upload/images/20211014/20142983RlFNo0O9FQ.png

因為截圖時沒有特別秀出,你可注意一下在NN Classifier頁面按下【Start tringing】後,的右上角的Training Output視覺窗中有顯示一段話。

Job started
Splitting data into training and validation sets...
Splitting data into training and validation sets OK

Training model...
Training on 51 inputs, validating on 13 inputs

意思即系統會自動把Training Set再分離成80%訓練和20%驗證,這裡原始訓練集共有64筆,所以被分割成51筆訓練和13筆驗證。

我要留言

立即登入留言