前言

這幾天的文章會是一系列的，會需要一起看才比較能看懂整個ML模型的輪廓，
然而因為一天能寫的內容量有限，所以我會在前言部分稍微說明我寫到哪。

複習一下ML的整個訓練過程

因為ML模型的訓練階段章節內容會分很多部分，我們要先確認好自己在哪個階段，
以免吸收新內容卻不知道用在內容的什麼地方。

★ML的整個「訓練過程」：這裡以監督式學習(Supervised Learning)為例

今天我們會直接進 Launching into Machine Learning 的第三章節~
第二章節剩下的歷史部分，因為我稍微想了一下內容，真的要寫起來應該可以寫成七篇文章，
然而因為很多都是比較舊的算法，我自己因為有研究正在做，會比較想先看新的作法，
所以我先細寫新章節的內容，一樣的，有機會我會回去補完那部分XD
(一天都可以寫一整個算法了XD)

Course - Launching into Machine Learning

第三章節的課程地圖：(紅字標記為本篇文章中會介紹到的章節)

• Optimization
  • Introduction to Optimization
    • Introduction
  • Defining ML Models
    • Defining ML Models
    • Introducing the Natality Dataset
  • Introducing Loss Functions
  • Gradient Descent
    • Gradient Descent
    • Troubleshooting a Loss Curve
    • ML Model Pitfalls
  • TensorFlow Playground
    • Lab: Introducing the TensorFlow Playground
    • Lab: TensorFlow Playground - Advanced
    • Lab: Practicing with Neural Networks
    • Loss Curve Troubleshooting
  • Performance Metrics
    • Performance Metrics
    • Confusion Matrix
  • Module Quiz

1. Introduction to Optimization

課程地圖

• Optimization
  • Introduction to Optimization
    • Introduction

這個章節的名稱為Optimization，也就是說我們如何在訓練過程中優化我們的結果。

對於如何優化，我們在這的學習目標是：

• 評價model的表現，利用loss functions
• 以loss functions作為基準的使用Gradient Descent演算法
• 最佳化Gradient Descent演算法，使它的效率達到最高
• 使用Performance Metrics作商業決策

(ML的整個過程，在Optimization這一章節，我們會先跑其中前半的流程。)

2. Defining ML Models

課程地圖

• Optimization
  • Defining ML Models
    • Defining ML Models

在介紹怎麼決定ML模型之前，我們先對整個ML的整個「訓練過程」有點概念：

註：我們在【Day 3】- 什麼是ML? 為什麼ML最近才紅起來? 有提過，整個ML過程會有兩個stage
Stage1 - training
Stage2 - inference(推理)(也有些人稱為prediction(預測))
所以這邊的「ML的整個訓練過程」，只有指Stage1的部分，
並不是訓練完整個ML的過程就結束了。

★ML的整個「訓練過程」：

• 定義 ML models -> 決定模型
• 介紹 Loss Functions -> 「訓練過程中」，我們評估「目前訓練當下」好壞的依據
• 梯度下降法 (Gradient Descent) -> 依據評估決定訓練的修正方向
• 使用 TensorFlow Playground -> 視覺化的看上述的變化過程
• 訓練結果的表現 Performance Metrics -> 「訓練結束後」，"外部"評估我們的訓練結果如何

那開始來介紹 ML模型 吧！

2.0. ML模型是什麼? 訓練目標是什麼?

ML模型簡單說就是個數學函數，我們透過「修改參數」使等式盡量成立(接近目標)，

自己的註：y=Ax+B, 我們去努力試出A, B是什麼 (「修改參數」指的就是修改A, B)

而在ML模型裡面，參數也有分成 parameters 與 hyper-parameters，

• parameters : 隨著模型訓練的過程中不斷變化的(實數)變數
• hyper-parameters : 開始訓練前就設定好的變數，之後開始訓練也不會變。

而依照歷史的變化，線性模型(linear models)是最早被使用的ML模型，
甚至到現在仍然是一種重要且被廣泛使用的模型。

我們在ML模型中所做的事情，就是不斷調整變數(parameters)，
使所有作為我們input的feature，都能透過這個模型，output吻合訓練目標label。

再來我們要講ML模型會有哪些種類，
我們前兩天的辛苦介紹 Regression and Classification 這兩種問題的定義就是為了這邊使用：

如果不清楚 Regression and Classification 問題是什麼與有什麼差別，
詳細介紹可以先參考前面兩天的文，我們這裡直接拿結論的表格，

• 【Day 16】 監督式學習(Supervised Learning)中兩大問題 - Regression & Classification(回歸與分類)
• 【Day 17】 多維度線性回歸解(N-D Regression), 交叉熵(cross-entropy)與均方差(MSE) 作為誤差函數計算所帶來的不同

我們這邊只看最後一行，回歸問題用回歸模型解，分類問題用分類模型解。(滿自然而然的吧XD)
這邊就是要來實際講我們做了什麼「數學運算」，來解決這兩類問題。

2.1. Regression model 回歸模型

我們將上述在ML模型中所做的事情數學化，可以簡單表示成 y = mx + b，

• x是input，也就是我們參考的feature
• y是output，也就是我們訓練的目標label
• 我們透過調整b(bias)、m(weight,權重)，使我們方程式能接近我們想要的結果

而這個概念示範雖然只有二維空間，但只要知道labels與features之前的關係，
我們可以將這概念任意拓展到更高的維度，
所有的inputs(features)經過我們的model，就會產生對應的outputs(labels)。

也就是說，我們可能可以建立一個模型，只要給他所有的inputs(features)，
他就會吐出所有你想知道的outputs(labels)。

當我們增加input的維度(也就是同時輸入更多features)，
我們上述所說的斜率m，也必須因此變成n維度，我們把這個m稱作權重(weight)

視覺上的表示，在原本的一條線變成n維度的同時，
這時原本我們所說的斜率(m)也變成了超平面(ω, Omega)，如上面的右圖。

同時我們也思考一下，原本的式子 y = mx + b，由於此處變多維空間，
我們改表示成 y = Xω + b，X 因為輸入變多了，所以變成多維值
所以 ω與b 應該也要變成更高維的值，才能繼續使等式成立。

自己的註：

X 代表所有inputs(features)
ω 為權重(weight)
y 依然是我們訓練的目標labels
b 偏差值(bias)，調整用的參數

我們稍微想一下，X如果變成二維向量(x1,x2)，
output也變成多維(y1,y2)，也就是同時預測多個項目，
先看b，b需要變成高維(b1,b2)才能維持計算等式，
而ω也是，至少也要變成二維矩陣才能算啊!

★ 自己的一些小結論：

線性回歸模型的例子看起來比較直觀，重點就是在解 y = Xω + b 中的 ω與b，
X(features)與 y(labels) 我們一開始都已經有了，只差解出ω與b，
而我們所說的訓練就是在調整模型裡面的所有參數。

2.2. Classification model 分類模型

分類模型相對比較沒有回歸模型那麼直覺，
回歸模型就是找出 y = Xω + b 中的 ω與b後，我們就能用X來預測y了，
但我們要怎麼樣用線性模型(linear model)做分類呢? 連續數字要怎麼做分類?

為了討論怎麼樣將我們模型output的連續數字轉換成分類，
我們需要將這些結果做encode，也就是將這些資料做成員編碼，
來看他是不是屬於這個class的成員。

最簡單的編碼方式就是二進位編碼，

自己的註：如果你有什麼特性一類、沒有那個特性一類，
(在【Day 17】 多維度線性回歸解(N-D Regression), 交叉熵(cross-entropy)與均方差(MSE) 作為誤差函數計算所帶來的不同也有用過這樣的方法。)

當然有很多數據可能會需要分類成兩個以上，這方法依然有效，只要將每個類視為獨立的類即可。

自己的註：例如 (A,非A)，(B,非B), (C,非C)，
這邊有點小細節，獨立的類不是像之前分成 (~15%, 15%~25%, 25%~)，
應該後面會介紹，沒有我再自己補XD

使用二進位編碼還有個好處，我們能更容易的管理我們的任務，
但以下的討論我們先以分兩類為主，這樣比較容易解釋。

我們要找到一種方法，「依據二進位分類規則」找到我們的目標線，
一個簡單的方法就是單純依靠輸出的結果。

以圖來看，這條線就像是將我們的圖片分成兩大塊，在線上方的與線下方的各一區，
我們就稱這條線為決策邊界(decision boundary)，區隔出這兩類。
而且，決策邊界(decision boundary)不只是描述目前的資料，
他的目標是預測我們還沒看見的資料，

而這種可以擴展預測到還沒看見的資料的特徵，我們稱之為泛化(generalization)，
泛化(generalization)的過程對ML相當重要，我們後續也會有很多的討論。

★ 自己的一些小結論：
這段我真的看超級久......，我看完Classification model一直在想說，
所以你不是沒講到怎麼找到這條分類線嗎?
後來想了大概快三小時，我才想通

1. 這個階段主要只在介紹怎麼生出一條線，
   就有點像我只是在「任意」決定 y=ax+b 的a,b而已，
   至於怎麼「找到」(或說是「修正出」)這條線，那是後面「修正階段」的事情

2. 原來我自己的文章版本中(現在改掉了)，我自己寫的註是
   「自己的註：如果你有什麼特性就是0、沒有那個特性就是1」，
   這是根據前面章節使用的方法延伸過來的，但我就是被這例子誤導，
   我後來又看了無數遍影片內容才懂，原來他指的分類是，
   「如果你有什麼特性一類、沒有那個特性一類」，
   這個差別在哪? 也就是說當任意線被決定後(例如：y=3x+2好了)，
   我們可以直接將「y > 3x+2」與「y < 3x+2」分成兩類，
   而我一直在想是0、是1的問題才卡那麼久......真的是被誤導很久
   不過想出來的感覺也滿爽的啦XD (希望我想的真的是對的XD)

參考資料

• coursera - Launching into Machine Learning 課程

• 若圖片有版權問題請告知我，我會將圖撤掉