iT邦幫忙

2025 iThome 鐵人賽

0

減少參數數量有三種方法:

  1. 局部感受野
  2. 全職共享
  3. 池化

1. 感受野

  • 概念: 卷積層中的每個神經元只連接到輸入圖像的一小塊區域(即局部感受野),而不是連接到整個輸入圖像的所有像素。

  • 作用: 大幅減少了單個神經元所需的權重數量。相比於全連接網路中每個神經元都需要 784 個權重 (針對 28×28 圖像),局部連接只使用一個小卷積核的權重(例如 3×3=9 個權重),極大降低了連接數。

全職共享

  • 概念: 在同一層的特徵圖中,所有神經元都共用同一組權重(即同一個卷積核)。

  • 作用: 一個卷積核只包含一組參數,透過在整個輸入圖像上滑動(卷積),它可以識別出圖像任何位置的相同特徵(例如「邊緣」)。無論圖像多大,卷積核的參數數量保持不變,因此大幅減少了需要訓練的獨立參數總數。

池化

  • 概念: 池化層會對卷積層輸出的特徵圖進行降採樣,通常是取一個小窗口內的最大值(Max Pooling)或平均值(Average Pooling)。

  • 作用: 直接減少了特徵圖的空間維度(例如 2×2 池化會使特徵圖的長寬各縮小一半)。由於後續層的輸入尺寸變小,連帶地也減少了後續層所需的參數數量和計算量。同時,它也提供了平移不變性。


上一篇
卷積神經網路:從全連接網路的局限性談起
系列文
深度學習Tensorflow 2.X31
圖片
  熱門推薦
圖片
{{ item.channelVendor }} | {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言