優化的知識，損失函數。課程的這段還需要消化一下，先把資料列表一下。

• RMSE
• Cross Entropy

損失函數，這是我們在每個訓練步驟中量化測量和評估模型性能的方法

RMSE

每個點的"真實值"減去"預測值"，用於衡量距回歸線數據點有多遠，平方是為了不要出現負數。把每個點的誤差加總起來算出平均，可測量誤差的平均幅度，就可以衡量這些殘差分佈的程度。

因為將(真實值-預測值)再平方，所以若 (真實值-預測值)>1，則平方後會進一步增大誤差。如果數據中存在異常點，那麼誤差值就會很大。所以再開根號減小異常點誤差。

雖然RMSE適用於線性回歸問題，但它不能作為分類的損失函數

Cross Entropy

分類的最常用的損失函數之一稱為交叉熵或對數丟失
與RMSE不同，交叉熵非常強烈地懲罰不良預測

信息量？

一個事件發生的概率越大，則它所攜帶的信息量就越小，而當p(x0)=1時，熵將等於0，也就是說該事件的發生不會導致任何信息量的增加

所以你可以這樣理解，就是這個消息會不會讓你覺得驚訝，像小明功課很好，常常考100分，那這次也考100。你會感覺很正常，對你來說這個消息沒什麼特別的。

熵(Entropy)？

熵其實是信息量的期望值，它是一個隨機變量的確定性的度量。熵越大，變量的取值越不確定，反之就越確定。

下面這幾張圖，也是用來說明 Cross Entropy 的作用，影片蠻短的，你可以連到 youtube 去了解一下。

(資料來源)

(資料來源)

1.輸入數據通過一個線性模型運算後 將被轉換為對數機率。運算很簡單 即輸入乘上一個矩陣 w 再加上一個偏置項 b。這些對數機率 也就是得分

2.通過 softmax 方法轉化為概率

3.緊接著我們通過交叉熵方法去比較，“輸出的概率向量”與“經過獨熱編碼的標籤向量”的差異

好，第17天，結束。

參考
coursera - Machine Learning with TensorFlow on Google Cloud Platform 專項課程
coursera - Launching into Machine Learning
Understand Cross Entropy Loss in Minutes
CSC 321 Winter 2018 / Lecture 4: Learning a Classifier
交叉熵（Cross-Entropy）
嗡嗡【Day 20】 Google ML - Lesson 6 - 使用損失函數(Loss Functions)來評估ML模型的好壞吧! MSE, RMSE, Cross Entropy的計算方法與特性
MAE and RMSE — Which Metric is Better?
機器學習大神最常用的 5 個回歸損失函數，你知道幾個？