前言

類神經網路(Neural Network, NN)，又稱為神經網路、人工神經網路(Artificial Neural Network, ANN)，屬於非線性的統計模型，是深度學習(Deep learning)的核心概念，而深度學習也是機器學習的一個分支領域，在影像辨識、語音識別與自然語言處理等方面有許多的應用。起源於模仿人類腦部神經元相互發出信號的運作模式建立模型，例如以下示意圖的概念：

單層類神經網路(Single Layer Neural Network)

本系列文章的內容中有許多可以處立非線性資料的統計模型，例如多項式迴歸模型、SVM與Boosting等等，而Neural Network與這些模型有很大的差別，也就是利用神經元傳遞信號的特殊模型結構，並且也可以處理迴歸與分類的問題，利用幾個解釋變數(explanatory variable)或特徵(feature)，當成輸入層(input layer)，中間經過非線性activation function構成的隱藏層(hidden layer)轉換後，預測反應變數(response variable)或outcome Y。

• 數學形式：
  
• 示意圖(假設p = 4，選擇五個activation k = 5):
  
  Single Layer Neural Network的架構其實跟線性迴歸模型很像，只是原本的解釋變數X被非線性函數activation function 轉換成其他的空間中，跟basis expansion拓展空間的方式很類似。其中的參數與等，都可以從資料中估計求得。
• 常見的activation function(也就是非線性將資料轉換的函數):

1. ReLU (Rectified Linear Unit): 將負值的資料設置為0
   
2. Sigmoid: 將資料轉換到0~1之間，與邏輯斯迴歸模型概念相似
   

• 常用來估計模型參數的Loss function:

1. Squared-error loss (迴歸)
   
2. Cross-entropy loss (分類)
   

深度類神經網路(Deep Neural Network, DNN)

上述是最簡單的Neural Network的架構，而通常使用到的Neural Network會包含許多隱藏層得到更好的結果，因此稱為深度類神經網路(Deep Neural Network)，也被當時提出此方法的人重新取名為深度學習(Deep learning)，例如以下示意圖利用兩層的hidden layer預測9個類別的反應變數Y。

• 數學形式：
  

小結

今天的內容主要介紹了Neural network的基本架構與數學形式，明天的內容將會簡單描述Neural Network中的參數該如何估計，以及深度學習中常常面臨到的幾個問題。