iT邦幫忙

0

開箱:ASUS UGen300 USB AI 加速器

  • 分享至 

  • xImage
  •  

2026年5月中前就拿到該裝置,但Windows版的驅動程式近期才能下載因此到現在才寫開箱與使用心得。
由於官方文件都是以Linux為主,因此這邊我只分享在Windows 11作業系統上心得。至於UGen300裝置一般性介紹文章我在這邊就不重複,可參考新聞報導或社群資訊:

以下分步驟說明在Windows 11筆記型電腦上如何使用UGen300 USB AI 加速器。先決條件是要有UGen300裝置並且將其透過隨附的傳輸線連接到筆記型電腦的Type C介面上。接下來就是軟體方面說明:

  1. 到ASUS官網中產品支援 - UGen300-USB-8G下載「UGen300 USB AI Accelerator for x86-Based Windows system」(檔案名稱為UGen300_USB_5.3.2_driver_Windows_amd64.zip)。
  2. 打開UGen300_USB_5.3.2_driver_Windows_amd64.zip壓縮檔,執行HailoRT_5.3.2_windows_installer.msi安裝程式。
    0524_0.png
  3. 預設會安裝以下項目:
    0524_1.png
    但這不符合裝置與使用需求,請參照下圖勾選其他必要項目:
    0524_2.png
  4. 安裝完驅動程式與相關軟體後,在Windows開始功能表找到韌體更新程序:
    0524_3.png
    執行後進行韌體更新(這個步驟必做):
    0524_4.png
    0524_5.png
  5. 完成後以系統管理員身分執行Windows的「命令提示字元」系統程式,並切換至HailoRT相關程式的目錄:
    cd\Program Files\HailoRT\bin
    接下來要用hailo-ollama來執行大語言模型,該程式會提供與Ollama相容的API。
    執行以下命令啟動hailo-ollama程式:
    hailo-ollama.exe
    目前支援的模型以及hailo-ollama程式的使用方式可參閱Hailo Model Zoo GenAI之READMD內容。
  6. 可以用Windows內建的curl工具進行初步測試:
    • 支援模型列表:
      curl --silent http://localhost:8000/hailo/v1/list
    • 下載模型:
      curl --silent http://localhost:8000/api/pull -H "Content-Type: application/json" -d "{ \"model\": \"qwen2:1.5b\", \"stream\" : true }"
  7. 使用以下命令跟模型進行交談:
    curl --silent http://localhost:8000/api/chat -H "Content-Type: application/json" -d "{\"model\": \"qwen2:1.5b\", \"messages\": [{\"role\": \"user\", \"content\": \"Tell me a joke\"}]}"
    但使用命令列方式對話不是很方面, 因此建議安裝Open WebUI來做為互動介面。我個人是以本地端Conda方式安裝,安裝完後進入Web介面(localhost:8080)。接下來要設定「連線」來與hailo-ollama通訊:
    0524_6.png
    0524_7.png
    之後就可以透過Web介面與模型進行對話:
    0524_8.png

圖片
  熱門推薦
圖片
{{ item.channelVendor }} | {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言