系列主旨

把模型放到手機、樹莓派與工業閘道器上，實現低延遲推論。

Part 1：邊緣部署基礎

• 技術：onnx, onnxruntime, numpy

• 程式碼

  import onnxruntime as ort, numpy as np
  sess = ort.InferenceSession("model.onnx")
  y = sess.run(None, {"x": np.random.randn(1,3,224,224).astype("float32")})
  
  

• 流程圖：訓練模型 → 匯出 ONNX → 邊緣裝置推論

Part 2：模型輕量化

• 技術：torch quantization, tensorflow-lite

• 程式碼

  import torch
  qmodel = torch.quantization.quantize_dynamic(model, {torch.nn.Linear}, dtype=torch.qint8)
  
  

• 流程圖：原模型 → 量化/剪枝 → 輕量模型

Part 3：影像/聲音即時處理

• 技術：opencv-python, pyaudio

• 程式碼

  import cv2
  cap=cv2.VideoCapture(0); ret,frame=cap.read()
  
  

• 流程圖：感測器 → 前處理 → 模型推論 → 即時決策

Part 4：OTA 與監控

• 技術：MQTT、遠端更新腳本

• 程式碼

  import paho.mqtt.client as mqtt
  mqtt.Client().connect("broker",1883).publish("edge/log","ok")
  
  

流程圖：裝置 → 記錄/回傳 → OTA 更新

結論與效益：降低雲端成本與延遲，離線場景照樣智慧化。