前言

這幾天的文章會是一系列的，會需要一起看才比較能看懂整個ML模型的輪廓，
然而因為一天能寫的內容量有限，所以我會在前言部分稍微說明我寫到哪。

複習一下ML的整個訓練過程

因為ML模型的訓練階段章節內容會分很多部分，我們要先確認好自己在哪個階段，
以免吸收新內容卻不知道用在內容的什麼地方。

★ 「訓練一個ML模型」的整個過程：這裡以監督式學習(Supervised Learning)為例

★ 從上面的訓練中，找到「最好的」ML模型：【Day 27】

原因：「訓練好一個模型」不等於「找到最好的模型」

★小實驗系列：

Course - Launching into Machine Learning

第三章節的課程地圖：(紅字標記為本篇文章中會介紹到的章節)

• Optimization
  • Introduction to Optimization
    • Introduction
  • Defining ML Models
    • Defining ML Models
    • Introducing the Natality Dataset
  • Introducing Loss Functions
  • Gradient Descent
    • Gradient Descent
    • Troubleshooting a Loss Curve
    • ML Model Pitfalls
  • TensorFlow Playground
    • Lab: Introducing the TensorFlow Playground
    • Lab: TensorFlow Playground - Advanced
    • Lab: Practicing with Neural Networks
    • Loss Curve Troubleshooting
  • Performance Metrics
    • Performance Metrics
    • Confusion Matrix
  • Module Quiz

0. 先整理今天重點

★ 混淆矩陣(confusion matrix)：

簡單來說，我們「模型預測」只要是正面肯定的，就是「positive」，否定則是「negative」，
再來判定結果正不正確，只要「實際答案(label)」與「模型預測」不同就是「false」，相同就是「true」。

★ 比較三種指標「Accuracy」、「Precision」、「Recall」：

| 指標種類 | Accuracy | Precision | Recall |
| --------| -------- | -------- |
| 計算方法 | [(TP)+(TN)]/全部資料總數 | (TP)/「模型預測」為 positive 的總數 | (TP)/「真實資料」為 positive 的總數
| 公式變形| - | (TP)/[(TP)+false positive(FP)] | (TP)/[(TP)+false negative(FN)] |
| 中文解釋 | 「預測」與「判斷」皆完全正確的 (包含「真預測為真(TP)」與「非預測為非(TN)」) | 「模型預測」為真(TP+FP)，而「真實資料」為真的比率 | 「真實資料」為真(TP+FN)，而「模型預測」為真的比率 |
| 重視的點 | 最經典的顯示模型的正確度 | 我們比較重視「模型預測為真」的結果，是否能符合現實。 | 我們比較重視「真實為真」的結果，模型能不能預測到。 |
| 影響 | - | 「真實為非(FN)」的影響相對比較還好。 | 「模型預測為非(FP)」的影響相對比較還好。 |
| 例子 | 都是例子 | 下雨：預測為非(預測雨天，但實際晴天)，我們帶傘出門相對還好。 | 成績預警：預測為非(預測成績不好，但實際還ok)，我們告知要注意成績相對還好。 |
| 例子造成影響 | - | 「真實為非(FN)」還好 = 實際晴天的影響還好。 | 「模型預測為非(FP)」還好 = 誤發的成績預警影響還好。 |
| 對應的反例 | - | (這裡如果重視Recall：則變成「預測晴天，但實際雨天，卻沒帶傘。」) | (這裡如果重視Precision：則變成「預測成績還好，但實際不ok，卻沒有通知學生注意成績。」) |

1. Confusion Matrix

課程地圖

• Optimization
  • Performance Metrics
    • Confusion Matrix

1.1. 混淆矩陣(confusion matrix)

這是一個使用ML模型作臉部辨識的例子，

• 可以看到我們的模型不正確的將「雕像的臉」辨識為「真實人臉」，
  這種情況我們稱為「false positive」。

• 另外可以看到我們的模型錯誤的將被冬天衣服遮住的「真實人臉」辨識為「非人臉」，
  這種情況我們稱為「false negative」。

自己的註：

簡單來說，我們「模型預測」只要是正面肯定的，就是「positive」，否定則是「negative」，
再來判定結果正不正確，只要「實際答案(label)」與「模型預測」不同就是「false」，相同就是「true」。

混淆矩陣(confusion matrix)能夠使用我們量化的評估模型的性能，
我們現在有四個數字，各個象限各一個。

然而我們通常只會用一個數字告訴別人我們的模型有多好，我們應該介紹哪一個?
我們再來用下一個分類的例子來作更細的講解。

1.2. Precision

• 如果我們知道一個停車位是可以用的，則他的 label 為「positive」，
• 如果我們的模型也預測這個停車位可以用，則我們稱為「true positive」

• 如果我們知道「沒有可以用的」停車位，
  但我們的模型仍然「預測有」可以停的車位，
  我們稱這種情況為「false positive」或「type I error」，
  為了比較我們模型做的「positive」預測有多好，我們稱這個指標為「precision」

如果「precision」很高，當我們說有可用的停車位，我們可以非常確定真的有車位。
「precision」如果是 1.0，表示「我們預測可用」的停車位中，這些車位實際上都真的是可用的。

但缺點是，我們可能會遺失一些「我們預測不可用」的停車位，但實際上是可用的。
這種情況我們稱為「false negatives」。

再來我們用數學方式來講「Precision」的正式定義，

• 「Precision」 = 「true positives」/ 「所有被模型預測positive的結果」

然後我們再看回這個混淆矩陣(confusion matrix)，
增加什麼因素會造成我們的精度下降呢?

答：增加「false positives」。

在停車場的例子中，模型預測「有空位的」，但實際上「並沒有空位」，
就會造成「false positives」增加，使「Precision」下降。

★ 自己的註：

「Precision」 = 「true positives」/ 「模型預測的所有positive」，
也可以說 = 「true positives」/ 「false positives + true positives」
如果看「Precision」=「true positives」/ 「false positives + true positives」
我們應該能更容易理解為何「false positives」的增加，會使「Precision」下降。

1.3. Recall

Recall 與 precision 通常有著相反的關係，代表著不同的指標。

• 我們「預測不可用」的停車位，但實際上是「可用」的，這種情況稱為「false negatives」。

如果一個模型有很高的「Recall」，
我們會因為發現實際上很多可以停的位置感到開心。
「Recall」如果是 1.0，表示我們預測可用的車位有10個，就真的有10個。
但實際上有些可能實際上是「可用」的車位，但我們卻說是「不可用」的。

• 「Recall」 = 「true positives」/ 「所有被真實中是positive的結果」

★ 自己的註：

「Recall」 = 「true positives」/ 「所有被真實中是positive的結果」
也可以說 = 「true positives」/ 「false negatives + true positives」
而「false negatives」指的是「真實中是，我們卻預測不是的」。
當「false negatives」的增加，會使「Recall」下降。

★ Precision 與 Recall 自己的小總結：

這其實有點像心理學，當我告訴你東西很少，但實際發現很多，你會很開心。
這就是「Recall」指標，東西可能會比實際預估的還要多。
另外「Precision」則是比較像寧願誤判也不可以有漏網之魚，
我們告訴你的東西很多，但實際有可能會比較少一點，這就是「Precision」指標。

實際運用的話，像是判斷疾病，
應該要用「Precision」指標(有疾病為positives)，寧願誤判也不可以漏掉。
或者舉另外一個例子，如果用來判斷下雨的話(有下雨為positives)，
寧願預測說有下雨，實際卻沒下(比起預測沒下雨，實際卻下雨了好很多。)
(不過以結果來說，當然還是預測越準越好)

適合用「Recall」指標的情況，例如以期中預警為例(成績還行為positives)，
正確預測是好事，但如果錯誤預測，
寧願「成績還行」卻「告知學生要注意成績(成績不行)」，
總會比「成績不行」卻「沒告知學生注意成績(成績還行)」的好。
(一樣的以結果來說，當然還是預測越準越好)

1.4. 來看另外一個例子：比較「accuracy」、「precision」、「Recall」

這裡我們將會看到很多圖片，這些圖片裡面有些是貓，有些不是，
我們可以先自己試著判斷看看，然後我們再來看模型預測的結果。

希望你有正確判斷出含有貓圖片的圖，特別注意紅框處有一隻隱藏的貓。
而出於我們預測的目的，老虎我們在這例子並不被歸類為貓。

而我們也看我們的模型預測的結果，我們將這結果與我們的已知(label)比較，
我們來衡量一下模型判斷的結果。

整體看起來，我們的模型的準確率是3/8 = 0.375，
也就是說我們模型的「accuracy」= 0.375，
但「accuracy」指標不一定就是描述模型的最好的指標。

我們現在來看我們的這些貓與非貓的資料，我們模型的「precision」是多少?
我們的模型總共預測了五張屬於「positive」的分類，
但實際上真實是貓的只有兩張，所以「precision」= 2/5 = 0.4

「Recall」像是一個不喜歡作出「positive」決定的人，
這裡我們看到所有「代表貓」的真實例子(label)，
我們拿我們模型的預測只與這些「代表貓」的結果比較。

我們得到的「Recall」為 2/4 = 0.5，
換句話說這個是從所有真實應該為貓的圖片，
看我們的模型有預測有多準確(true positives)，
這個就是「Recall」指標。

1.5. 段落小整理

• 這邊我們把最佳化這個章節的全部內容在做個小整理。

• 首先，我們先定義ML模型為一組參數與超參數的組合，
  我們所嘗試的優化，就是指在參數空間(parameter space)中搜索最佳參數。

• 接下來，我們介紹了損失函數(loss function)，
  這也是我們在訓練階段中，評估與量化模型現在性能的方式。

我們針對損失函數(loss function)討論了兩種方法，
用於線性回歸(linear regression)的RMSE、
用於分類任務的交叉熵(cross-entropy)，
透過分析梯度下降(gradient descent)，
我們能夠決定前進的方向與步長，
這使我們知道如何在loss表面進行搜索，以尋找最佳參數。

• 我們在TensorFlow playground對於不同的ML模型進行實驗，
  並觀察「線性模型」是如何在給定「非線性特徵時」學習非線性關係，
  以及神經網路(neural networks)是如何學習層次來分析特徵。
  我們也看見超參數(hyperparameters)，
  例如學習速率(learning rate)與batch size，
  是如何影響梯度下降(gradient descent)的結果。

• 我們最後在決定accuracy, precision, recall之間進行選擇，
  依據想解決的問題種類進行選擇，以提高模型的性能，
  正如同我們在這個單元中看到的結果一樣，
  我們所標記的訓練資料集會成為模型學習的動力。

參考資料

• coursera - Launching into Machine Learning 課程

• 若圖片有版權問題請告知我，我會將圖撤掉