前言

這幾天的文章會是一系列的，會需要一起看才比較能看懂整個ML模型的輪廓，
然而因為一天能寫的內容量有限，所以我會在前言部分稍微說明我寫到哪。

複習一下ML的整個訓練過程

因為ML模型的訓練階段章節內容會分很多部分，我們要先確認好自己在哪個階段，
以免吸收新內容卻不知道用在內容的什麼地方。

★ML的整個「訓練過程」：這裡以監督式學習(Supervised Learning)為例

而今天的文章我們也會先介紹並且稍微分析一下，接下來我們要用來作為訓練範例的資料集。

今天我們會繼續 Launching into Machine Learning 的第三章節~

Course - Launching into Machine Learning

第三章節的課程地圖：(紅字標記為本篇文章中會介紹到的章節)

• Optimization
  • Introduction to Optimization
    • Introduction
  • Defining ML Models
    • Defining ML Models
    • Introducing the Natality Dataset
  • Introducing Loss Functions
  • Gradient Descent
    • Gradient Descent
    • Troubleshooting a Loss Curve
    • ML Model Pitfalls
  • TensorFlow Playground
    • Lab: Introducing the TensorFlow Playground
    • Lab: TensorFlow Playground - Advanced
    • Lab: Practicing with Neural Networks
    • Loss Curve Troubleshooting
  • Performance Metrics
    • Performance Metrics
    • Confusion Matrix
  • Module Quiz

1. Introducing the Natality Dataset

課程地圖

• Optimization
  • Defining ML Models
    • Introducing the Natality Dataset

決定訓練資料集

簡單來說這邊就是要介紹接下來我們要作為示範訓練的資料集了，
資料集很重要的原因在於它可以直接影響我們要使用什麼「ML模型」。

我們這次要訓練的是一些關於新生兒的資料集。

問題情境：

有些嬰兒剛出生時會需要緊急護理，然而能提供這樣護理的醫生卻不多，
我們希望能夠妥善的分配醫生，使得真的有需求的嬰兒能得到需要的護理。

我們將這問題轉換為ML問題：

我們想預測的目標是，預測哪些嬰兒會需要醫生的照顧

再來我們來思考一下什麼東西能作為我們的參考的依據(feature)，
什麼東西能作為我們的訓練目標(label)，
假設這裡有三種資料：母親的年齡, 嬰兒的生日, 嬰兒的體重，哪些是能用的呢?

我們在這邊稍微題外話一下：

有些專業領域的知識，會告訴我們某些資料是不可能相關的，
例如(我任意舉例的)：能不能用一個人的身高、體重預測那個人的年齡?
我們應該都知道這個相關性是薄弱的，但在ML模型裡面我們就是想試著找看看關聯性。

但另外一個預測的重點，那就是這些資料要在我們想預測時，資料是「可取得的」。

回到剛剛上面問題的答案：

• 嬰兒的生日：我們必須要等嬰兒出生才能知道的資料，所以就是預測時還不可取得的資料。
• 嬰兒的體重：嬰兒的體重恰好就是嬰兒是否需要照護的重要指標之一。
• 母親的年齡：雖然不確定有沒有相關性，但母親的年齡確實是我們可以觀測的資料。

選擇好我們要使用的資料後，我們來想想我們剛剛所定義的問題：

我們想預測的目標是，預測哪些嬰兒會需要醫生的照顧，
也就是預測「寶寶的健康」，嬰兒的體重是「寶寶的健康」的參考指標之一
我們就先將我們想預測的目標(label)訂為實際數據的預測「嬰兒的體重」，
而「母親的年齡」可以做為我們參考的依據(feature)，
這個問題我們要預測的是「嬰兒的體重」，為連續值，
所以這是「回歸問題(regression problem)」。

再把資料丟進ML模型之前，我們通常還要先看一下這個資料是否可能存在某些特性，而非全部雜訊(noise)。
我們先觀察一下數據分布，我們將「母親的年齡」與「嬰兒的體重」做成了散佈圖。

而這個資料並不需要把全部的資料都拿來丟，我們只要取樣(sample)即可：

• 一方面是，全部的資料都丟，在計算上是不太合適的(太多資料)
• 另外一方面是，如果丟入大量資料，除了製圖困難，我們也很難解釋他

(這個資料來自BigQuery中的公開資料，為美國政府收集的natality data)

稍微注意一下，這些資料似乎有小的正相關性。
這邊我們還可以比較另外一張圖，我們一樣使用這兩種資料作為座標，
但這次我們不做散佈圖，我們將資料分成各個資料組的累積量。

先稍微比較一下兩者的特色：

這張圖是由一共22GB的資料所繪成，我們試著觀察一下裡面的關係，
這時我們就會發現，我們看見了一些散佈圖中看不出來的資訊。

我們發現，寶寶的體重似乎在母親年齡30歲左右達到最大值，
而隨著母親年齡的增長或減小，嬰兒體重逐漸減少。
這表示這組資料存在著「非線性」的關係，且在散佈圖中是觀察不出的關係。

但我們想基於昨天提到的線性模型(linear model)而分析他，似乎看起來不是那麼容易。
事實上，我們用線性模型(linear model)想去建立一個非線性函數(non-linear function)的模型，
這樣的例子有個名詞叫做欠擬合(underfitting)。

也許你可能會問為什麼不使用更複雜的模型來解這個問題? 這是因為這邊作為教學示範的原因。
而其他複雜的模型我們之後也會討論到，此外我們還會討論過度擬合(overfitting)的概念。
但簡單來說，隨著「模型的複雜度」增加，「訓練過程的失敗風險」也會增加。

我們回到原先題目的散佈圖，我們認為母親的年齡與嬰兒的體重成些微的正相關，
於是我們先將我們的直覺判斷，以「藍線」來模擬這個概念，
而決定藍線之後，我們再來想思考這條線是否應該要高還是更低? 斜率是否正確?
要怎麼樣去決定其他的線「紅、黃線」沒有比這條「藍線」好?

這邊先來個題外話一下：

有學過統計的人，可能會知道有個「least squares regression」的方法，他能夠幫助我們在線型模型(linear models)中決定最佳權重(weights)，這方法在這題目中也確實可行。
但問題在於這些解只能在「一定的數量規模」內使用，當數據量只要一大，為了解決問題使用統計方法的計算量就顯得不切實際。
那如果統計方法不行的話，這裡該怎麼辦?

我們可以使用「gradient descent(梯度下降法)」：

我們先考慮在空間中搜尋最佳化變數，
記得我們的線型模型(linear model)裡面有兩個變數，weight 和 bias。
因為這兩個數字都是實數，我們可以考慮將這兩個變數的每個組合想像成是2D空間中的一個點。

有這樣的想像後，我們要怎麼找到最佳解呢?

首先，我們要認知到，因為input是實數，所以基本上他有無限的輸入可能，
所以以上面的圖來說，沒辦法呈現出所有的結果，
也就是說，我們沒辦法考慮所有的組合。

(自己的註：他這邊指的是所有的weight 和 bias組合，在這張圖上)

所以，我們採取的是找到點後，先進行計算，然後與我們training data比較

自己的註：比較training data的label與「我們預測的結果」的差異。

而為了做到這件事，我們需要建立能對每個點評估「我們預測的結果」品質的方法，
換句話說就是計算「我們預測結果」的誤差值(error)的方式，
用一個數值來表示我們「我們預測結果」的品質，
而這個就是我們所說的「損失函數(loss functions)」，下章節我們將仔細介紹。

參考資料

• coursera - Launching into Machine Learning 課程

• 若圖片有版權問題請告知我，我會將圖撤掉