基本公式

一個人工神經元的數學模型可以寫成：

[
y = f\left(\sum_{i=1}^{n} w_i x_i + b\right)
]

• (x_i)：輸入特徵 (inputs)
• (w_i)：對應的權重 (weights)
• (b)：偏差 (bias)，調整輸出基準點
• (f(\cdot))：激活函數 (activation function)
• (y)：輸出結果 (output)

👉 可以把神經元想像成一個「加權總和 → 再經過非線性轉換」的小單元。

為什麼需要激活函數

如果沒有非線性函數，整個網路再多層也只是一個線性轉換，學習能力會非常有限。
激活函數的角色就是讓網路能處理「非線性」問題。

常見的激活函數：

• Sigmoid：輸出在 (0,1)，可以當作機率解釋，但容易造成梯度消失。
• Tanh：輸出在 (-1,1)，相對對稱，效果比 Sigmoid 好一些。
• ReLU：輸出 max(0, x)，計算簡單快速，現在最常用。
• Leaky ReLU / GELU：改進 ReLU 缺點，讓負值區域也能保留一點訊息。

單神經元的能力

• 單一個神經元只能表示一條「線性分界」。
• 就像在二維平面上畫一條直線，把資料分成兩類。
• 它的能力非常有限，無法解決像 XOR 這樣的非線性問題。

多神經元與多層網路

• 多個神經元組成一層 (Layer) → 可以學到更複雜的邊界。
• 多層神經網路 (Deep Neural Network) → 能逼近任何函數（通用近似定理）。
• 這也是深度學習強大的根源：很多簡單的神經元堆疊起來，就能處理影像辨識、語音、自然語言處理等複雜任務。

生物神經元 vs 人工神經元

• 生物神經元：樹突接收訊號 → 累積 → 若超過閾值 → 軸突放電傳遞。
• 人工神經元：輸入 (x) → 加權求和 (Σwx+b) → 激活函數 f → 輸出 (y)。
• 兩者的類比讓我們更容易理解「人工神經元」的設計靈感來自於大腦。

神經元在學習中的角色

• 訓練的過程就是 調整權重 (w) 與偏差 (b)。
• 誤差會透過 反向傳播 (Backpropagation) 算出梯度，再利用 梯度下降 (Gradient Descent) 去修正參數。
• 可以把神經元看作「小小的特徵檢測器」，每一顆專門抓某種模式，最後很多神經元一起合作，就能組成複雜的判斷模型。

總結

• 神經元就是一個 輸入 → 加權總和 → 偏差 → 激活函數 → 輸出 的計算單元。
• 單顆神經元能力有限，但大量堆疊後就能學到非常複雜的函數與模式。
• 深度學習的強大之處，來自「數以百萬計的神經元」互相連結與學習。

📌 明天開始，我們會把神經元的數學概念轉換成實際程式實作，先用 NumPy 做簡單模擬，再慢慢過渡到框架。