繼續講昨天的CNN~

處理圖像上CNN的優點

1. 處理平移性的問題
   透過濾鏡掃描捕捉圖像內物件的特徵，只要存在，CNN都可記住表劉這些特徵。
2. 處理區域性問題
   基本的處理單位是二維濾鏡(5x5 or 7x7)，作用只限於一個區域(區域外不作用)。
   FC只以一個像素為處理單位，作用在全區域
3. 處理縮放性的問題
   池化濾鏡以降維的方式簡化運算負擔。
4. 權重共享性

• 利用濾鏡掃描整個圖像位置。
• 整個圖像以這個固定權重數量做演算，每個像素點指共享這個濾鏡的權重。

FC每個像素與下一層像素的連結都有其獨一的權重，整個網路權重數量非常大

人眼➜CNN，圖像辨識和追蹤
耳朵、嘴巴➜RNN，辨識聲音、說出句子
➜LSTM長短期記憶網路
➜GRU閘門記憶單位

循環神經網路概念與特色

循環神經網路(Recurrent Neural Network)，簡稱RNN

• 序列的深度學習網路架構。
• 一種能利用記憶過去歷史的訊息，結合當前的輸入，對未來序列的訊息進行預測的一種深度學習網路架構。
• 類似隱藏馬可夫鏈橫式概念。
• 特色:
  ①兩個影響力量:每個隱藏節點同時受到上一個隱藏層節點+目前的輸入影響。
  ②節點彼此之間有關係不獨立:同一層隱藏節點之間有序列的關係存在，不互相獨立。
  ③記憶的功能:節點存在著記憶過去處理過訊息的機制。
  ④處理序列訊息:主要運用在序列訊息上處理，例如:文字序列Word Sequence、聲音序列Audio Sequence、影像序列Video Sequence、氣候序列等等。
• 架構圖:
• 適用類型:
  ➊序列對序列的訊息Sequence to Sequence(M:M)
  多對多關係，指輸入一個序列的訊息，也輸出一個序列的訊息。
  ex.語音轉文字Speech-to-Text、文字轉語音Text-to-Speech、DNA基因序列分析
  ➋序列對向量的訊息Sequence to Vector(M:1)
  多對一的關係，指輸入一系列的訊息輸出一個單一向量值得運用。
  ex.圖像標註Image Caption、情緒分析Sentiment Analysis、圖像生成Image Generation
  ➌向量對序列的訊息Vector to Sequence(1:M)
  一對多關係，指輸入一個向量輸出一系列的訊息。
  ex.文本生成Text Generation、音樂生成Musical Generation
• 缺點:
  ①無法記憶長期依賴關係Long-term Dependency:當序列的距離太大無法捕捉長期時間之間的關聯。
  ②固定長度的限制:輸入與輸出節點長度是固定的。
  ③只有單向:只有由前面的訊息來預測後面的訊息，不過一個字的精確預測往往需要前後連結才能更精確。

參考來源:人工智慧:概念應用與管理 林東清