由標準神經網絡NN 到 深度神經網絡DNN

複習一下前幾天談的輸入層-隱藏層-輸出層。

標準神經網絡（NN），深度學習本質上是神經網絡，各種神經網絡的基礎就是NN, 一個經典的神經網絡圖如下圖所示，這是一個包含三個層次的神經網絡，紅色的是輸入層，綠色的是輸出層，紫色的是中間層（也叫隱藏層）。輸入層有3個輸入單元，隱藏層有4個單元，輸出層有2個單元。

深度神經網絡(DNN)，當隱藏層多於2時稱為深度，DNN與NN主要的區別在於把sigmoid函數替換成了ReLU。原文網址

註: sigmoid函數及ReLU為在類神經網路中使用的激勵函數，主要是利用非線性方程式，解決非線性問題，若不使用激勵函數，類神經網路即是以線性的方式組合運算，因為隱藏層以及輸出層皆是將上層之結果輸入，並以線性組合計算，作為這一層的輸出，使得輸出與輸入只存在著線性關係，而現實中，所有問題皆屬於非線性問題，因此，若無使用非線性之激勵函數，則類神經網路訓練出之模型便失去意義。深度學習激勵函數介紹

NN或DNN為一種模擬人腦神經系統的方式，它能將一維數據經過Full Connection並學習多次後歸納出該結果。同時，他們是AI發展中不可或缺的因素之一。可以想像，目前DNN常被使用。

全連接層Full Connection : 主要就是分類（Classification），參數很多（可占整个網路參數80%左右，這是使用時的另一個挑戰。）

參考: 什么是全连接层（Fully Connected Layer）

現在的任務是去區别是不是貓

當我們得到以下特徵，就可以判斷這個是貓了

如果紅色神經元被激活就對應到貓，同樣地，若貓的特徵不明顯，同一層的其他神經元便不會對應到貓。最後我們再把這些找到的特徵组合在一起，發現最符合的是貓，電腦便認為這是貓了

往前一層對子特徵分類，也就是對貓頭，貓尾巴，貓腿等分類，比如現在要把貓頭的特徵找出來

於是我們下一步的任務就是把貓頭的這些子特徵找到，比如眼睛、耳朵。道理和區別貓一樣，當我們找到這些特徵時，神經元就被激活了（下圖紅色圓圈）

註:本文是搜尋數個網站及各種不同來源之結果,著重在學習,有些內容已難辦別出處,我會儘可能列入出處,若有疏忽或出處不可考,請聯絡我, 我會列入, 尚請見諒。