0. 進度條

0.1 前言

你遇過以下幾種困擾嗎？

0.2 回憶當年...

在我初學神經網路的時候，
只會暴力地把模型加深，
然後期望梯度下降法幫我解決所有問題。
因為那時大家都在這麼做。

:喂喂 你能解決梯度消失的問題嗎?
:好像可耶
:太棒了! 我們再加深100層。
(ResNet-1001表示)

但是，Mingxing Tan 和 Quoc V. Le完全看不下去，
他們覺得現在大家瘋狂地加深網路根本拿石頭砸自己的腳，
就算Google研究團隊發表了一個1000萬層的網路，
然後說它有多好、多棒。
事實上，像你我一樣的小小研究員或是民間小公司，
根本就不可能有那樣的運算資源去訓練出跟Google一樣好的模型。
更別說他們有一堆我們拿不到的Data。

所以Mingxing Tan 和 Quoc V. Le重新思考模型縮放(Model Scaling)的意義，
然後提出一個超高效(efficient)的模型架構。

1. EfficientNet

這是EfficientNetB0架構，是B0~B7中最小的:

其中的MBConv6就是這個結構(如右圖):
"6"代表的是擴張通道數"6"倍。

從MBConv的結構可以看出它參考了深度可分離卷積和直連通路的設計，
其實就是「M」o「B」ileNetV2的基礎架構啦:

• 借鑑MobileNetV1: MBConv先透過PW卷積擴張通道數，再透過DW卷積和ReLU進行激活。
  (為何要擴張: 有一說是因為低通道數的特徵圖不適合使用ReLU激活)
• 借鑑ResNet: 在layer input和layer output中間建立直連通路。
• 調整輸出通道數: 透過PW卷積調整想要的通道數

1.1 神經網路架構搜尋(Network Architecture Search, NAS)

1.2 模型縮放

有三種方向做模型縮放:

1. width: 卷積層通道數
2. depth: 網路層數
3. resolution: Input解析度
4. compound scale: 混合縮放(此篇論文提出)
   

1.3 如何同時對三個方向做縮放?

此論文提出一個方程式，
由4個參數組成:alpha, beta, gamma, phi，
分別代表depth, width, resolution和指數。

換句話說: 此方程式限制了三方向縮放的比例，
根據這個比例縮放的模型，
是最高效率的縮放方式！

OS:
限制縮放比例也蠻合理的，
假如寬度、深度和解析度分別代表人類的頭、身體和腳掌，
那我們從小長到大絕對不會只長大一個部位，
如果我們頭大身體小，那一定很不健康。
但是以前的模型真的就是在深度上往死裡加大 XD

1.4 為什麼說是高效率的?

因為被拿來放大的模型(B0)，
本身是在最佳化問題下用NAS找到的:

2. 結語

2.1

2.2

2.3

3. 附錄

圖片來源:https://www.jianshu.com/p/5449ce4de7cc

3. 參考資料

1. https://arxiv.org/abs/1905.11946
2. 這篇有大量投影片截圖，因為之前我有做簡報介紹EFN，所以就直接拿來用了。