iT邦幫忙

2023 iThome 鐵人賽

DAY 15
0
AI & Data

YOLO系列網路技術採用以及實作系列 第 15

[DAY 15] YOLOv7-下篇

  • 分享至 

  • xImage
  •  

有效率的架構

  • 參數量、計算量以及計算密度不能太高。

  • CSPVoVNet為VoVNet的變體,其額外分析了梯度路徑。目的讓不同層的權重可以學到更多樣化的特徵,同時也讓執行效率以及準確度上升。
    https://ithelp.ithome.com.tw/upload/images/20230930/20120310cgzHMtqQ27.png

  • ELAN給出一個結論:

    • 透過控制最常與最短的梯度路徑,可以使模型學習以及收斂更有效率。
      https://ithelp.ithome.com.tw/upload/images/20230930/20120310GYdz8k19MN.png
  • YOLOv7給出了一個基於ELAN的改良版:Extend-ELAN。

  • 透過分組捲積,增加特徵積數,再利用shuffle以及concatenate的方式整合特徵組合,強化模型學習特徵的能力。

    https://ithelp.ithome.com.tw/upload/images/20230930/20120310L0hCulVYJy.png

Auxiliary Head以及Lead Head的採用

  • Lead Head: 負責最終輸出。
  • Auxiliary Head: 輔助訓練的。
    https://ithelp.ithome.com.tw/upload/images/20230930/20120310XhGv3JHBdN.png

Label assignment

  • YOLO預測的Bounding Box回歸與正確解答計算出的IoU會當成物件的soft label,給予soft label的過程稱為label assigner,如何指派soft label給auxuliary head以及lead head。
    • 過去作法為lead head以及auxiliary head分開做預測結果以及正確解答的計算來執行指派Label的任務。
      https://ithelp.ithome.com.tw/upload/images/20230930/20120310McN0Vn4kRv.png
    • 本文提出:
      • 利用lead head預測結果或引導生成粗到細(Coarse-to-fine)階層式label。
        https://ithelp.ithome.com.tw/upload/images/20230930/20120310fo2ADJk3Jr.png
      • 值得一提的是Coarse-to-fine的部分: 會生成兩種label,分別為coarse label(會放寬被判斷為正樣本的限制,使更多的grid被判斷為正樣本,但是會添加限制,讓因降低標準的正樣本不會影響到soft label的生成)以及fine label(lead head生成的)。
        https://ithelp.ithome.com.tw/upload/images/20230930/20120310EX7B8B4YeI.png
      • 正好可以用auxilary head來優化recall。lead head來優化precision。
  • 實驗結果
    https://ithelp.ithome.com.tw/upload/images/20230930/20120310KqLEo1nE8c.png

Bag of Freebies

  • Batch Normalization在Conv-bn-activation的使用:這部分YOLOv5也有採用。
  • YOLOR提出的Implicit knowledge可以預先在推論階段前簡化為向量。
  • 將Mean-teacher方法當中的EMA技術應用在最終用來推論的模型。

實驗結果

  • 跟其他方法的比較:
    https://ithelp.ithome.com.tw/upload/images/20230930/201203108qWgUnxn96.png
    https://ithelp.ithome.com.tw/upload/images/20230930/20120310y1wzxO5B84.png

文章使用之圖片擷取自該篇論文


上一篇
[DAY 14] YOLOv7-上篇
下一篇
[DAY 16] YOLOv8
系列文
YOLO系列網路技術採用以及實作30
圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言