另一個full connection 例子, 數字辨識:https://www.youtube.com/watch?v=aircAruvnKk

下圖28X28之"9"圖如何辨識?

左邊是輸入層28X28=784點，拉成784點，中間有二層各16點之隱藏層(依測試及經驗決定點數)，右邊則是輸出層

將"9" 拆成二部分，"o" 和 "|"，以利辨識

偵測到"o"時卻可能是 "9" 或 "8"之上半部

但加上偵測到"|" 時，便可碓定是"9"

再分析 "o" 及"|"，其細部如下

往左一層，如下

所以二層隱藏層如下, 實心點即是sigmoid後,機率較高處

若記得之前提過weight及bias(神經網路)，由784點(輸入層)到16點(第一隱藏層)，算出各個點的sigmoid值(機率)如下

即每一點

往右二層16點及10點,共需計算13,002變數

所以正確 weight 及 bias 是關鍵

DNN能解決的問題

基本上，DNN能解決人工智慧目前所遇到的問題，包括人口分析、資料分析、邏輯推演等。

DNN的缺點/為什麼需要CNN?

看似萬能的DNN，其實有一個致命的缺點:
這邊以上面的短片為例子:

• 一般的圖片都是一個二維或三維的像素分布，要直接使用DNN時，需要先轉成一個一維向量，以一張原本像素解析28*28的圖片為例，就是直接拉平轉成764個元素的向量，而如果神經網路的的第一層隱藏層有1000個神經元，光這一層就會有764000個參數需要運算。
• 而這只是以一張黑白圖片為例，如果圖片的解析度越高，或是為彩色圖片，其參數量將會大量上升。
  也就是說 如果你用DNN，那你就要買記憶體很大的GPU或是租很高級的機台。
• 同時，訓練這麼多參數所需的時間和電費也是不可忽視的。
• 這時我們就需要使用CNN啦!
  • CNN的目的是為了將資料簡化，並將其特徵明顯化。(此處的特徵並不是有幾隻腳、耳朵形狀等那麼簡單，而是在電腦眼中的特徵)
  • 而經過CNN處理的數據再送進DNN處理，就可以解省很多時間啦!

註:本文是搜尋數個網站及各種不同來源之結果,著重在學習,有些內容已難辦別出處,我會儘可能列入出處,若有疏忽或出處不可考,請聯絡我, 我會列入, 尚請見諒。