這是周末所進行的實驗性專案，嘗試在Arduino UNO Q開發板(4GB版本)上運行大語言模型。當然本身Arduino UNO Q的微處理器是跑不動大模型的(但即將推出的Arduino Ventuno Q開發板就可做到)，因此需要「外掛」NPU(Neural Processing Unit，神經處理單元)來做到這件事情。在這邊使用的NPU裝置是ASUS UGen300 USB AI 加速器，相關介紹可以參考我之前的開箱文與大神的心得分享。
在開始之前請先準備相關環境。Arduino UNO Q開發板需運作在「SBC 開發模式」上，因此需要額外的周邊：

• PD充電器 與 Type-C對Type-C連接線
• Type-C多合一影音擴充器(我使用的是aibo G5 Type-C 鋁合金五合一影音擴充器(PD快充/HDMI/USB3.0))
• 螢幕 與 HDMI連接線
• 鍵盤
• 滑鼠

進一步內容請參考官網文章說明，以下是環境的實拍畫面：

環境準備好後接下來都會在Arduino UNO Q開發板上運作。以下分別說明各項步驟：

1. 到華碩官網下載對應的軟體(驅動程式及工具程式 - Linux OS-Debian - 軟體程式)：
   
2. 下載後進行解壓縮：
   
3. 參照README.txt說明，安裝驅動程式與UGen Utility軟體：
   
4. 安裝需要一段時間，完成後選擇重啟Arduino UNO Q開發板：
   
5. 重啟開發板後進入桌面，確定NPU裝置與Arduino UNO Q開發板連接後使用以下命令以確認是否正常運作：
   hailortcli fw-control identify
   
6. 執行UGen-Utility命令，進入軟體程式之使用者介面：
   
7. 切換到VLM分頁(視覺語言模型)， 並選擇所要使用的模型：
   
8. 模型下載後就可以選擇該模型，並進行圖片上傳與對話：
   

這邊展示的是VLM的用法，而LLM(大語言模型，單純只有文字對話)也是相同的方式。