Day 15 - 人工大腦：類神經網路

神經網路（Neural Networks）是一種受生物神經系統啟發的計算模型，旨在模擬人類大腦處理信息的方式。這篇文章將介紹神經網路的起源、類神經元架構、神經網路的架構及其學習方法。

1. 神經網路的起源

神經網路的概念可以追溯到20世紀40年代。1943年，神經科學家沃倫·麥卡洛克（Warren McCulloch）和數學家沃爾特·皮茲（Walter Pitts）提出了第一個人工神經元模型，稱為「麥卡洛克-皮茲神經元」。這種神經元模型簡單地模仿了生物神經元的工作原理，基於輸入信號的加權和來決定是否產生輸出。

2. 類神經元架構

類神經元（Artificial Neuron），又稱為感知器（Perceptron），是神經網路的基本單元。其架構包括以下部分：

• 輸入層（Inputs）：接收外部信號。
• 權重（Weights）：每個輸入信號都會乘以一個權重值。
• 加權和（Weighted Sum）：所有輸入信號和權重的乘積之和。
• 激活函數（Activation Function）：對加權和進行非線性轉換，決定最終輸出。

常見的激活函數包括Sigmoid、ReLU（Rectified Linear Unit）和Tanh等。

3. 神經網路的架構

神經網路由多個類神經元組成，通常包括以下幾層：

輸入層（Input Layer）

輸入層接收原始數據，將其傳遞到下一層。

隱藏層（Hidden Layers）

隱藏層由多個神經元組成，是網路中的中間層。隱藏層的數量和每層的神經元數量可以變化，這是設計神經網路時需要調整的超參數。隱藏層通過非線性激活函數處理輸入數據，提取數據中的複雜特徵。

輸出層（Output Layer）

輸出層生成最終的預測結果。對於分類問題，輸出層通常使用Softmax函數來生成概率分布；對於回歸問題，則直接輸出實數值。

4. 神經網路的學習

神經網路的學習過程包括以下步驟：

前向傳播（Forward Propagation）

在前向傳播過程中，輸入數據從輸入層經過隱藏層傳遞到輸出層。每個神經元根據其激活函數計算輸出，並將結果傳遞給下一層神經元。最終，網路生成預測結果。

損失計算（Loss Calculation）

損失函數（Loss Function）用於衡量預測結果與真實標籤之間的差異。常見的損失函數包括均方誤差（MSE）和交叉熵損失（Cross-Entropy Loss）等。

反向傳播（Backpropagation）

反向傳播是神經網路學習的核心算法。它通過計算損失函數相對於每個權重的偏導數，來更新權重以最小化損失。反向傳播使用梯度下降（Gradient Descent）或其變體（如Adam、RMSprop）來優化權重。

權重更新（Weight Update）

在每次迭代中，根據計算出的梯度和學習率（Learning Rate），調整網路的權重。這一過程反覆進行，直到損失函數收斂或達到預設的訓練次數。