前言

今天讀的是 2025 年期刊文章 “Human activity recognition: A review of deep learning-based methods”[1]。人類活動識別（HAR）是電腦視覺與人機互動的重要基石，從健康監測、智慧家居到安全監控皆有廣泛應用。
本文聚焦三個問題：

1. Methods：作者如何回顧？
2. Findings：突破與挑戰？
3. Implications：對研究與實務的建議？

Methods

• 回顧範型：本文屬敘述性回顧，重在技術演進與設計脈絡，非量化型 meta-analysis。

• 主題式檢索：聚焦深度學習在 HAR 的近年研究，涵蓋電腦視覺主流會議與期刊與相關應用領域。

• 三維度分類：

  1. 資料模態：RGB、RGB-D、骨架；IMU/穿戴式；多模態融合。
  2. 模型家族：2D/3D-CNN、RNN/LSTM、Two-Stream、Transformer、GNN（骨架圖）。
  3. 應用場景：日常活動、醫療復健、運動分析、異常偵測。

• 評估觀點：彙整代表性工作的準確率與計算效率／部署可行性於公開資料集（如 UCF101、HMDB51、Kinetics、NTU RGB+D）。

Findings

1. 端到端成主流；預訓練與注意力系統性受用

   • 端到端取代手工特徵
   • 預訓練表徵在小樣本／遷移任務具優勢
   • 注意力／Transformer 成為跨時空與跨模態對齊的核心元件

2. 時空建模是 HAR 的核心難題

   • 2D-CNN 需後接時序模組
   • 3D-CNN 直接學時空但計算昂貴
   • RNN/LSTM 擅長長依賴但訓練慢
   • TCN 與 Video Transformer 漸成新選項
   • Two-Stream（外觀 + 動態／光流）長期表現穩健（典型報告在 UCF101 可達 90%+）

3. 骨架序列 × GNN 崛起

   • 骨架數據輕量、較抗背景與隱私風險
   • 以 ST-GCN 系列為代表的時空圖卷積在 NTU RGB+D 等具強競爭力
   • 結合自注意力的混合式（如 CTR-GCN）持續推進

4. 多模態融合帶來穩健性

   • RGB 提細節、深度抗光照、骨架抗遮擋
   • 晚期融合常見，精心設計的特徵層／注意力融合可更好挖掘互補性
   • 需考慮模態缺失／品質波動

5. 實際應用三難題

   • 資料：逐幀標註成本高、跨域泛化不足
   • 即時／資源：3D／Transformer 推理成本高，需壓縮與加速
   • 可信：可解釋性與對抗魯棒性在醫療／安防等高風險場景尤為關鍵

Implications

• 效率優先：壓縮（剪枝／量化／蒸餾）、NAS、早期退出與動態推理，兼顧延遲與精度。
• 自監督與小樣本：對比學習預訓練 + 少量標註微調；few-shot／元學習降低新類別代價。
• 跨域泛化：域適應（Domain Adaptation）／正則化、多資料集聯訓與多樣化增強（含時序擾動、MixUp／CutMix）。
• 可解釋與可信：Grad-CAM／時空關鍵幀與關節標示；不確定性估計與對抗訓練。
• 工程設計：**模型能力 + 業務約束（狀態機／規則）**並用；優先骨架 + RGB，設計模態降級策略；邊緣推理與線上監測／人為覆核並行。

小結

HAR 的近年進展可歸納為三條主線：端到端時空表徵取代手工特徵、骨架 × GNN 與多模態融合提升穩健性，以及圍繞即時性／隱私／可解釋的部署工程。實務上，與其追逐單點 SOTA，不如在模型、資源、場景約束間拿捏平衡，建立可持續運維的系統。

參考文獻

[1] S. J. Dutta, T. Boongoen, and R. Zwiggelaar, “Human activity recognition: A review of deep learning-based methods,” IET Computer Vision, 2025, Art. no. e70003, doi: 10.1049/cvi2.70003.