類神經網路（Artificial Neural Network）

一種模仿生物神經網路結構和功能數學模型或計算模型，對函數進行估計或近似。由大量類神經元聯結進行計算。大多數情況下類神經網路能在外界資訊基礎上改變內部結構，是一種自適應系統

ANN基本結構

圖片來源:(https://blog.toright.com/posts/6809/keras-machine-learning-mnist/ann)

ANN學習過程

• 輸入資料：資料輸入類神經網路
• 前向傳播：資料從輸入層向輸出層傳播
• 計算誤差：計算輸出層預測與實際值誤差
• 反向傳播：誤差從輸出層向輸入層傳播
• 更新權重：根據誤差更新類神經網絡權重

ANN優缺點

類神經網路是人工智能領域一個重要研究方向。隨著類神經網路技術不斷發展，將在更多領域得到應用，為我們生活帶來更多便利

ANN公式

節點輸出公式

每個節點輸出值由輸入值和權重的加權經過激活函數處理得到

z_j = Σ_i w_ij * x_i + b_j y_j = f(z_j)

輸入層公式

計算輸入層節點輸出值，輸入層節點輸出值等於輸入資料值

z_i = x_i

隱藏層公式

計算隱藏層節點輸出值，隱藏層節點輸出值等於輸入值加權和再經過激活函數處理

z_j = \sum_{i=1}^{n_i} w_{ji} z_i + b_j a_j = f(z_j)

輸出層公式

計算輸出層節點輸出值，輸出層節點輸出值等於輸入值加權和再經過激活函數處理

z_k = \sum_{j=1}^{n_h} w_{kj} a_j + b_k y_k = f(z_k)

激活函數（Activation Function）

用引入非線性因素，以提高神經網路的表達能力。常用激活函數包括 sigmoid函數、tanh函數 、 ReLU函數

Sigmoid函數

f(x) = \frac{1}{1 + e^{-x}}

Tanh函數

f(x) = \tanh(x) = \frac{e^x - e^{-x}}{e^x + e^{-x}}

ReLU函數

f(x) = max(0, x)

誤差計算公式

衡量神經網路預測值與真實值之間差異的指標。常用誤差函數包括 均方誤差（MSE） 、 交叉熵（CE）

均方誤差（MSE）

E = \frac{1}{2} \sum_{k=1}^{n_o} (y_k - t_k)^2

交叉熵（CE）

E = -\sum_{k=1}^{n_o} t_k log(y_k) + (1 - t_k) log(1 - y_k)

權重更新公式

是調整神經網路參數方向和大小。常用的權重更新算法包括 梯度下降算法、RMSprop算法 、 Adam算法

梯度下降算法

一種優化函數的迭代算法。在類神經網路中，梯度下降算法更新神經網路的權重

w_ij = w_ij - α * ∂E/∂w_ij

權重與偏置更新公式

更新神經網路的權重和偏置，減小誤差。常用的權重和偏置更新公式包括 梯度下降法（GD） 、 反向傳播（BP）算法

梯度下降法（GD）

w_{ji} \leftarrow w_{ji} - \alpha \frac{\partial E}{\partial w_{ji}} b_j \leftarrow b_j - \alpha \frac{\partial E}{\partial b_j} w_{kj} \leftarrow w_{kj} - \alpha \frac{\partial E}{\partial w_{kj}} b_k \leftarrow b_k - \alpha \frac{\partial E}{\partial b_k}

理解更新規則

權重更新規則本質上涉及減去相應權重或偏置對應的損失函數梯度比例版本
梯度指示如何調整權重以最小化誤差方向，學習率決定調整大小

w_{ji} \leftarrow w_{ji} - \alpha \frac{\partial E}{\partial w_{ji}}

減去 學習率(α) 和 誤差(E) 對 w_{ji} 偏導數乘積更新 權重w_{ji}，偏導數表示誤差對 w_{ji} 變化敏感，同樣，其他等式使用誤差相應偏導數來更新 權重w_{kj} 和 偏差b_j 和 b_k

反向傳播（Back Propagation）

是從輸出層到輸入層，逐層計算各層權重和偏差梯度

\delta_j^l = \frac{\partial E}{\partial z_j^l}

w_{ij}^{l+1} \leftarrow w_{ij}^{l+1} - \alpha \delta_j^l x_i^l

b_j^l \leftarrow b_j^l - \alpha \delta_j^l

RMSprop算法

一種梯度下降算法的變體，通過自適應學習率來提高訓練速度

G_t = β * G_{t-1} + (1 - β) * (∂E/∂w_ij)^2 w_ij = w_ij - α * (∂E/∂w_ij) / √(G_t + ε)

Adam算法

一種梯度下降算法的變體，通過結合一階動量和二階動量來提高訓練速度

m_t = β_1 * m_{t-1} + (1 - β_1) * ∂E/∂w_ij v_t = β_2 * v_{t-1} + (1 - β_2) * (∂E/∂w_ij)^2 w_ij = w_ij - α * m_t / (√(v_t) + ε)

ANN程式碼(Tensorflow、Keras)

import tensorflow as tf
from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import Dense
    
# 資料準備 (假設已準備好 X_train, y_train, X_test, y_test)

# 建立模型
model = Sequential([
    Dense(64, activation='relu', input_dim=X_train.shape[1]),
    Dense(10, activation='softmax')
])

# 編譯模型
model.compile(optimizer='adam',
              loss='categorical_crossentropy',
              metrics=['accuracy'])

# 訓練模型
model.   
fit(X_train, y_train, epochs=10, batch_size=32, validation_data=(X_test, y_test))

# 評估模型
test_loss, test_acc = model.evaluate(X_test, y_test)
print('Test accuracy:', test_acc)

結論

人工神經網路是一種強大的工具，可以從大量數據中學習複雜的模式。隨著計算能力的提升和算法的改進，人工神經網路在越來越多的領域發揮著重要作用

資料來源:何謂 Artificial Neural Network?