0. 進度條

0.1 前言

火雲邪神曾說：「天下武功，唯快不破」，
但那些又寬又深的網路，訓練時間和推論時間都極長，
我們要如何把它們放在手機等移動設備上呢？
所以科學家們開始反其道而行，
模型不再是以「大大大」為唯一目標，
有另外一個目標出現了：要小要快要輕。
而MobileNet就是著名的輕量化模型架構，
其論文開宗明義地說：

This paper describes an efficient network architecture
and a set of two hyper-parameters in order to build very small, low latency models
that can be easily matched to the design requirements for
mobile and embedded vision applications.

1. MobileNet v1

1.1 深度可分離卷積(Depthwise Separable Convolution)

• 標準的卷積是對影像的三個維度長、寬、通道數(H,W,C)同時做卷積運算，
  若有K個(D,D)卷積核，則所需參數量為DxDxCxK。
• 深度可分離卷積分成兩步驟：
  1. 深度卷積：先分別對單個通道做卷積，這樣會改變圖的解析度，但通道數(維度)保持不變。
  2. 逐點卷積：用1x1卷積核對C方向做卷積，不會改變解析度，但會改變通道數(維度)。
     若有K個(D,D)卷積核，則所需參數量為(DxD+C)xK，在C變大時，會省下不少參數量。
• 經過計算，在3通道的彩色圖片中，只要D>=2就可以減少參數量。

如下圖所示：

論文中也統計了各種類型的網路層所需參數量的比例：

1.2 Width Multiplier: 瘦模型

寬度乘子(α)：把輸入/輸出通道數縮小，論文設置倍率是(0.25, 0.5, 0.75, 1.0)之一。

1.3 Resolution Multiplier: 窄模型

解析度乘子(ρ)：減少輸入/輸出的解析度，論文設置解析度為(224, 192, 160, 128)之一。

論文在ImageNet上做實驗(α從左到右分別是0.25, 0.5, 0.75, 1.0)。
去比較這4種設置的模型準確率。
基本上只是證實了一件事：

在都是深度可分離卷積的設計下，又寬又胖的模型還是比較強。
但是模型基本上都很輕量化，最大的也僅有 4M 個參數。
而且解析度提高所增多的參數量較提高寬度來的少。

2. 結語

MobileNet參數量極少是一大賣點。

只是他的準確率不怎麼好看。

你全都要？

那有沒有參數量和MobileNet差不多，
但是準確率能和state-of-the-art也差不多的架構呢？
有的！明天讓我來為你介紹...

3. 參考資料

1. https://arxiv.org/abs/1704.04861