Feedforward 前饋神經網路

前饋神經網路是一種neuron之間的連接並不形成循環的人工智慧網路。
前饋神經網路是最簡單的神經網路，在這個網路中，資料流動的方向是同個方向(往前)，由輸入層開始，流向隱藏層，再流到輸出層。這樣的網路中並沒有回送或者反饋機制。

Error Function

Error是指期待結果與預測結果之間的差值。
神經網路的學習目標是計算出最優化的權重值。當誤差達到最小值(理想上是零)，這個權重被認為對於給定的數據集而言是最優化的。我們見過當網路開始學習處理，它初始化權重且使用其中一個activation functions計算每個neuron的輸出。然後便會計算誤差、調整權重、計算輸出且重新計算誤差然後拿來比較之前計算的誤差，直到找到最小化的誤差。給出最小誤差值的權重便會被當作最終的權重，在此階段該網路也會被視為已學習。
以微積分來看，假如函數的一階導數是零，則這個函數不是最小值就是最大值。找到這個導數為零的最小值就是我們訓練神經網路的目標。
因此，神經網路必須具有誤差函數，該函數將計算一階導數並找到誤差函數最小的點(權重與bias)，選擇誤差函數的基準便是看要訓練的模組是什麼型態的。
誤差函數通常也被稱做損失函數(Loss function)，或簡稱損失(Loss)。

資料參考:
https://afit-r.github.io/feedforward_DNN