如何驗證正確率, 或如何辨別機器學習模型的好壞？ 我們常使用Confusion Matrix[混淆矩陣]。

在機器學習領域和統計分類問題中，混淆矩陣（英語：confusion matrix）是可視化工具，特別用於監督學習，在無監督學習中一般叫做匹配矩陣。矩陣的每一列代表一個類別的實例預測，而每一行表示一個實際類別的實例。之所以如此命名，是因為通過這個矩陣可以方便地看出機器是否將兩個不同的類混淆了（比如說把一個類錯當成了另一個）。

混淆矩陣（也稱誤差矩陣）是一種特殊的, 具有兩個維度的（實際和預測）列聯表（英語：contingency table），並且兩維度中都有著一樣的類別的集合。(wiki)

• TP (True Positive) — 真陽：即實際為True，預測為Positive。預測的結果與實際情況相同。
• TN (True Negative) — 真陰：即實際為True，預測為Negative。預測的結果與實際情況相同。
• FP (False Positive) — 偽陽：即實際為False，預測為Positive。預測的結果與實際情況不同。
• FN (False Negative) — 偽陰：即實際為False，預測為Negative。預測的結果與實際情況不同。

Error

從上面的描述，我們當然希望我們的模型True Positive和True Negative都可以多多出現，而False Positive和False Negative可以盡量不要出現，因此這兩種狀況就稱之為Error，又各自又命名為Type I Error和Type II Error，

這兩種錯誤，錯的很不一樣，如果放在你家大門鎖上，那你最不希望發生哪類錯誤？當然是Type I Error，也就是False Positive，此時機器會把陌生人當成主人的開門，這是我們不想看到的，我們寧可被關在門外（Type II Error）！但如果今天這個辨別系統是用在Google廣告，Google Ad會預測一個產品的潛在客戶，並做廣告投放，這個時候反而是較不希望Type II Error發生，也就是False Negative，這叫做寧可錯殺一百個也不要放過一個潛在客戶。
所以下次在訓練你的模型時想清楚你不想要Type I Error還是Type II Error，並且用一些方法來放掉另一種錯誤，來降低這個我們不希望發生的錯誤。
Reference:如何辨別機器學習模型的好壞？秒懂Confusion Matrix

指標

Reference:機器學習模型評估指標-confusion matrix, precision, recall, and ,F1-score
在機器學習的分類領域中，常使用混淆矩陣(confusion matrix)的元素加以計算精確率(precision)、召回率(recall)及F1-source，以判斷該模型的表現。

準確率(accuracy) = (TP +TN) /全部資料總數：模型預測正確的比例。

這也是最常用的指標，但是在某些情形下這個指標會失效，如果今天實際正向的例子很少，譬如有一個信用卡盜刷偵測機器人，看了一個月的信用卡紀錄，其中真正是盜刷的資料筆數是相當少的，那我只要簡單一步來設計我的模型就可以使它Accuracy達到99%以上，你猜到了嗎？那就是通通預測沒有盜刷的情況發生，所以顯然我們需要別種指標來應對這種情況。

註:本文是搜尋數個網站及各種不同來源之結果,著重在學習,有些內容已難辦別出處,我會儘可能列入出處,若有疏忽或出處不可考,請聯絡我, 我會列入, 尚請見諒。