YOLOv7: Trainable bag-of-freebies sets new state-of-the-art for real-time object detectors

Chien-Yao Wang, Alexey Bochkovskiy, Hong-Yuan Mark Liao

~台灣之光~

• 目的讓物件偵測網路可以達到即時偵測在行動裝置上。
  • CPU裝置模型基礎: MobileNet、ShuffleNet、GhostNet。
  • GPU裝置模型基礎: ResNet、DarkNet、DLA、CSPNet。
• 本篇會著重在優化訓練過程以及bag-of-freebies。
• re-parameterized模組取代原先的模組。
• 提出擴展(extend)以及複合縮放(co,pound scaling)方法，讓模型可以有效利用參數。
• 不會像YOLOv6一樣進行self-supervised learning 或是 knowledge distillation方法，因為這樣會需要額外的data。

YOLOv7在related work當中說明了Model re-parameterization技術以及Model Scaling 技術，因此本篇會先完整介紹這兩部分，後篇再把其他YOLOv7採用以及提出的技術一併說明完。

技術採用

Model re-parameterization

• 在推論的階段將多個運算模組合併成一個。
• 可視為ensemble技術:
  • 模組ensemble:
    • 將模組拆成多個模組分支，最後推論階段再整合起來。
  • 模型ensemble:
    1. 用不同的訓練集獨立訓練個別的模型，並最終將所有模型的weight進行加總取平均。
    2. 在不同的iteration都進行weight加總取平均。
• 本文方法:
  • re-paprameterized卷積:
    • YOLOv6網路架構也有採用。
    • RepConv使用在VGG上可以有很好的結果。
    • 若添加在有Residual或是concatenation連接架構模，準確度會下降很多。
    • 因此設計了有計畫性的(Planned)re-parameterized convolution。
      

Model scaling

• 將已經設計好的模型進行縮放，讓他可以應用在不同的硬體裝置上。
• 縮放因子:
  1. 輸入影像的像素大小。
  2. 模型的層數(depth)。
  3. 通道的數量(channel)。
  4. 特徵金字塔(feature paramid)的數量(stage)。
• 常見的方法為Network architecture Search(NAS):
  • 可以自動搜尋適合的縮放因子。
  • 缺點就是計算耗時。
  • YOLOv7作者發現，現今的NAS架構處理的縮放因子與參數與操作量無關。
• 本文方法:
  • 利用concatenation為基礎的模型進行縮放的方式:
    • 縮放concatenation-based的模型都會導致模型輸出channel數改變，對於硬體資源的使用量也會改變。
      
    • 我們將深度進行縮放，同時也要注意到模型輸出的channel數改變，因此增加了對寬度的縮放機制。
      
  • 實驗結果:
    

YOLOv7提出的更有效率的架構、Auxilary head、Lead head、Bag-of-freebies技術以及與其他方法比較的實驗結果將於YOLOv7-下篇進行說明。

文章使用之圖片擷取自該篇論文