深度神經網路架構(ANN)

輸入層

• 輸入資料(Data)的特徵值 (Features)

隱藏層

• 做運算
• 前向傳播(Forward propagation) 計算出我們的Output

輸出層

• 透過輸入特徵，經過隱藏層的運算所得到的預測值，我們藉由縮小預測值與實際標註值(Label)，更新我們隱藏層的參數，最終訓練出一組權重(weights)

常見應用：

• 影像分類
• 即時視覺追蹤
• 自駕
• 邏輯最佳化
• 生物資訊學
• 語音辨識

Active Function (激活函數)

• 接收區（receptive zone）、觸發區（trigger zone）、傳導區（conducting zone），和輸出區（output zone）。

- 樹突/輸入神經元 = 輸入x
- 輸出神經元 = 輸出y
- 軸突 = 權重W (調節強度)
- 突觸 = 偏差值b 
- 傳導方式 = 激活函數(非線性)(Sigmoid、ReLU、Tanh...)

捲積神經網路架構(CNN)

• 透過卷積核(Kernels)滑動對圖像做訊息提取，並藉由步長(Strides)與填充 (Padding)控制圖像的長寬
• 輸入圖像→[卷積組合→最大池化(Max Pooling)]*n→攤平(Flatten)→全連接層(Fully Connected layers)→分類
  

捲積層

功能：捲積層主要用於處理圖像或具有網格狀結構的數據，例如影像和音頻。
操作：它通過滑動一個稱為卷積核的小矩陣來提取特徵，並在輸入數據上執行卷積運算。這有助於檢測圖像中的特定模式和特徵。
應用：如圖像分類、物體檢測和分割。

池化層

功能：池化層用於減少特徵映射的尺寸，同時保留重要訊息，從而減少計算成本並增強模型的穩定性。
操作：最常見的池化操作是最大池化，它在特徵映射上滑動一個窗口並保留窗口中的最大值。
應用：池化層通常與捲積層交替使用，用於進一步處理圖像或特徵映射。

DropOut層

功能：Dropout層用於防止神經網絡的過度擬合（Overfitting）
操作：在訓練過程中，Dropout層會隨機地丟棄一定比例的神經元，使模型不能過度依賴特定的神經元，從而增強泛化能力。
應用：Dropout通常添加在全連接層之間，有助於提高模型的穩定性。

全連接層(Fully Connected Layer)

功能：全連接層是神經網絡中的經典層，用於將前一層的所有神經元連接到當前層的每個神經元。
操作：每個輸入神經元都與每個輸出神經元之間建立權重連接，並進行線性計算和非線性。
應用：全連接層通常用於模型的最後幾層，以進行最終的分類或回歸任務。

權值共享

• 28x28x1的灰階照片(784個特徵)，隱藏層使用100個神經元
• 100*784 (weights)+100 (bias)= 78500個參數