tags: 第 16 屆 iThome 鐵人賽 (2023)

上次的梯度分析方法使推論階段可以更快、更準確。圖中的ELAN 。考慮了以下設計策略–“如何設計一個 高效的網絡？”。得出了一個結論：通過控制最短的最長梯度路徑，一個更深的神經網路可以有效地學習和收斂，而提出了基於ELAN的擴展ELAN（E-ELAN）。其主要結構如圖所示

• E-ELAN 模組圖
  右側為group convolution單元的圖解

Extended-ELAN是什麼?

EELAN是Yolov7 與 Uolov4最大的差別
由於在ELAN架構的堆疊數量已達到穩定飽和的狀態，使用原架構在再往上堆疊無異於增進效能，因此，在ELAN的基礎上，設計了擴增、隨機洗牌與合併分支等操作，在不破壞原本梯度路徑的前提下增強模型學習表徵的能力。E-ELAN 僅改變 computational block 架構，並沒有更動後面的 transition layer。

expand cardinality

為了使模型的基本計算單元容易拓展縮放，將computational block 中每層 layer 都採相同的分組數量(cardinality/group)與channel倍數配置
參照group convolution方式擴展所有Computational block的channel
shuffle cardinality

為了提升表徵學習能力、讓不同組間卷積模塊能彼此交流特徵訊息
參照Shuffled Grouped Convolution，將computational block以channel為單位進行洗牌重分配，依cardinality/group組數分組後再合併(concate)
merge cardinality

最後以相加的操作將分組卷積層融合

• 補充: 分組卷積 group convolution
  分組卷積 group convolution
• 補充: 隨機分組卷積（Shuffled Grouped Convolution）
  隨機分組卷積（Shuffled Grouped Convolution）

基於串聯的模型縮放 Model Scaling for Concatenation-based Models

模型縮放的主要目的是調整模型的一些屬性並生成不同尺度的模型 以滿足不同推理速度的需要. 例如，EfficientNet的縮放模型考慮了 的寬度、深度和分辨率。

至於scaled-YOLOv4，其縮放模型是調整階段的數量。在《Fast and accurate model scaling》中，分析了在進行寬度和深度縮放時，卷積和分組卷積(group convolution)對參數和計算量的影響，並以此設計了相應的模型縮放方法。

• 基於串聯的模型的縮放 Model scaling for concatenation-based models
  

Trainable BoF (Bag of Freebies)

模型重參數化(model re-parameterized)與動態標籤技術( dynamic label assignment)是近年神經網路訓練與物件偵測的重要議題，論文中著重在這兩個主題的改進

重參數化模型 Planned re-parameterized model

圖4為將RepConv/RepConvN融合至單純的卷基網路(PlainNet)與殘差網路(Resnet)的示意圖

參考資料

https://hackmd.io/@YungHuiHsu/BJ7fpQyps?utm_source=preview-mode&utm_medium=rec