前言

這幾天的文章會是一系列的，會需要一起看才比較能看懂整個ML模型的輪廓，
然而因為一天能寫的內容量有限，所以我會在前言部分稍微說明我寫到哪。

複習一下ML的整個訓練過程

因為ML模型的訓練階段章節內容會分很多部分，我們要先確認好自己在哪個階段，
以免吸收新內容卻不知道用在內容的什麼地方。

★ML的整個「訓練過程」：這裡以監督式學習(Supervised Learning)為例

★小實驗系列：

而今天的文章我們先不討論新東西，我們來做點小實驗。

Course - Launching into Machine Learning

第三章節的課程地圖：(紅字標記為本篇文章中會介紹到的章節)

• Optimization
  • Introduction to Optimization
    • Introduction
  • Defining ML Models
    • Defining ML Models
    • Introducing the Natality Dataset
  • Introducing Loss Functions
  • Gradient Descent
    • Gradient Descent
    • Troubleshooting a Loss Curve
    • ML Model Pitfalls
  • TensorFlow Playground
    • Lab: Introducing the TensorFlow Playground
    • Lab: TensorFlow Playground - Advanced
    • Lab: Practicing with Neural Networks
    • Loss Curve Troubleshooting
  • Performance Metrics
    • Performance Metrics
    • Confusion Matrix
  • Module Quiz

1. Lab: Introducing the TensorFlow Playground

課程地圖

• Optimization
  • TensorFlow Playground
    • Lab: Introducing the TensorFlow Playground

所以，我們現在知道gradient descent是如何運作的，
我們現在先使用一些工具來看看這方法實際上運作會是怎麼樣。
你應該會看到很多我們之前有提到的現象。

TensorFlow Playground是一個非常強大的工具，
他能幫助我們視覺化neural networks是如何運作的。
(neural networks稍後章節我們就會介紹了)
事實上，我們現在所介紹的linear models就是一種簡化的neural networks
所以這個工具也很適合做linear models的視覺化呈現。

我們會用這個工具來證明我們前面所說的理論知識，可以使我們對ML更有直覺，
我們也會直接了解「設定learning rate」與ML模型是如何降低梯度的。

我也會指出這些內容與之後主題的關係，這些都會在之後的課程有更深入的探討。
首先，我們先看一下介面，
我們先刪除了某些工具的功能，因為他與我稍後將介紹的內容才有關係，
但依然有許多有趣的功能是我們可以使用的。

1.1. 介面介紹

• 首先，我們畫面框起來的指的是features，這些要給model看的inputs

在每一個box裡面的顏色代表的是feature的值，其中橘色代表負值、藍色代表正值，

• 然後這裡有個hidden layers的欄位，我們可以先當作這部分是代表權重(weights)，
  我們可以透過「滑鼠靠近」來看這個些值是多少

隨著模型的訓練，這條線的寬度與不透明度會逐漸改變，
這樣的視覺化表示也方便我們能夠快速的理解他們的值。

• 在output column我們可以同時看見training data與我們的model現在預測的值，
  以及所有的點在features space裡面的位置

• 我們也看到目前的training loss

這邊都會以「顏色」來表示值(features)

• 最上方的控制列包含著「重新設定訓練, 開始訓練, 執行單個步驟」的按鈕

• 還有一個可以下拉的列表，可以調整我們的learning rate

• data欄位允許我們選擇不同的資料集，並且也能控制batch size的大小

1.2. 開始訓練

我們就先以訓練一個「linear model」來替我們分類資料開始吧!

• 這邊我們可以參考範例連結：https://goo.gl/EEuEGp

(這圖我另外截的XD，上面寫"Don’t Worry, You Can’t Break It. We Promise."滿有喜感的XD)
可惡，越是這樣講越讓我想嘗試玩壞看看

當我們點進連結後，我們就會看到TensorFlow Playground的介面，，
我們先介紹一下目前畫面上的配置(不用擔心沒有hidden layers的問題)，
在目前我們所看到的介面設定中，這個模型接受一個feature vector，
並與weight factor計算內積，再加上bias，
然後使用計算結果去建立決策邊界(decision boundary)。

因此我們可以將目前的配置視為linear model，
我們現在會開始訓練這個model，讓他去嘗試分類一些屬於兩大不同族群的資料。

• 我們點擊畫面上的step鍵(紅框處)，我們會注意到畫面開始有ㄧ些變化。

1. epochs的數值增加1

2. 我們說代表weights的線換了顏色、也改變了大小

3. 現在loss function的值也改變了

4. loss的圖形顯示了往下的斜率

5. output的決策邊界(decision boundary)也產生了改變

我們移動一下滑鼠靠近目前代表1的weights，觀察一下weights目前的大小，

我們現在點擊play的按鈕讓他繼續訓練，但當loss小於0.002時我們就先暫停一下。
(應該會在200 epochs以內)

這時，我們已經完成訓練我們的第一個模型了!

1.3. 小實驗 - 「learning rate 的改變對訓練過程的影響」

現在讓我們稍微改變一點東西，

首先我們先看不同的learning rates是怎麼影響模型訓練的。

簡單複習一下：

learning rate是hyperparameter，也就是在訓練模型前設定的。
這個值會乘上偏微分的結果，並決定我們weights要改變(之前我們說的「移動」)的量，

• 這邊我們先試第一種，我們看看當learning rate非常小(0.00001)的訓練結果
  這邊我們只要先等到約100 epochs即可(大約需要兩秒)，然後先暫停訓練。

• 參考範例連結：https://goo.gl/3pmeKj

• 現在的loss是多少?
• loss的變化是怎麼樣的?
• 然後我們的模型變成了怎麼樣的weights?

(調整learning rate的位置)

• 然後我們將learning rate調整為0.001，並再重新訓練一次
  一樣也是約100 epochs即可先暫停訓練。

• 現在的loss是多少? (應該會少了很多)
• loss的變化是怎麼樣的?
• 然後我們的模型變成了怎麼樣的weights?

• 再來我們將learning rate調整為0.1，並再重新訓練一次
  一樣也是約100 epochs即可先暫停訓練。

• 現在的loss是多少? (應該會少更多)
• loss的變化是怎麼樣的? (減少的有多快?)
• 然後我們的模型變成了怎麼樣的weights?

• 最後我們將learning rate調整為10，並再重新訓練一次
  • 我們先試著只做一步看看，注意weight的變化。
• 再來我們繼續訓練直到100 epochs暫停訓練。

• 現在的loss是多少? (應該會少更多)
• loss的變化是怎麼樣的? (減少的有多快?)
• 然後我們的模型變成了怎麼樣的weights?

我們觀察loss的曲線下降的速度，應該是非常急遽的下降的。

當我們把這些訓練結果放在一起，我們比較這四種的變化，
並試著用我們學到的最佳化知識解釋看看原因，

(上面這張表是影片實驗結果的整理，正常來說我們的結果應該會有點不一樣，而重跑實驗也會有點不一樣也是同理。)

TensorFlow Playground幫我們隨機初始化了權重(weights)，
這也表示我們每次的搜尋都從一個隨機位置開始。

• 我們先討論「Weight1」那一直行：
  注意weights的變化與我們learning rate的關係，
  我們發現隨著learning rate增加，weight也會增加。

為什麼呢?

因為我們的模型在訓練的時候走比較大步。
而事實上，當learning rate為10時，「第一步」改變的weight最為顯著。

• 而我們再看「loss over time」那一直行：

我們發現當learning rate增加，「loss曲線」也逐漸變陡。
這正與我們之前所分析的結果相同。

參考資料

• coursera - Launching into Machine Learning 課程

• 若圖片有版權問題請告知我，我會將圖撤掉