iT邦幫忙

第 11 屆 iT 邦幫忙鐵人賽

DAY 24
0
Google Developers Machine Learning

Google machine learning 學習筆記系列 第 24

【Day 24】 Google ML - Lab 4 - TensorFlow Playground - 讓我們在視覺化的網頁中體驗一下訓練ML模型吧!learning rate 改變對訓練過程的影響

前言

這幾天的文章會是一系列的,會需要一起看才比較能看懂整個ML模型的輪廓,
然而因為一天能寫的內容量有限,所以我會在前言部分稍微說明我寫到哪。

複習一下ML的整個訓練過程

因為ML模型的訓練階段章節內容會分很多部分,我們要先確認好自己在哪個階段,
以免吸收新內容卻不知道用在內容的什麼地方。

★ML的整個「訓練過程」:這裡以監督式學習(Supervised Learning)為例

階段 要做的事情 簡介
(訓練前) 決定資料集與分析資料 你想要預測的是什麼資料? 這邊需要先知道 examplelabelfeatures的概念。介紹可參考:【Day 15】,而我們這次作為範例的訓練資料集介紹在【Day 19】
(訓練前) 決定問題種類 依據資料,會知道是什麼類型的問題。regression problem(回歸問題)? classification problem(分類問題)? 此處可參考:【Day 16】、與進階內容:【Day 17】
(訓練前) 決定ML模型(ML models) 依據問題的種類,會知道需要使用什麼對應的ML模型。回歸模型(Regression model)? 分類模型(Classification model)? 此處可參考:【Day 18】神經網路(neural network)? 簡介於:【Day 25】
(模型裡面的參數) ML模型裡面的參數(parameters)超參數(hyper-parameters) 此處可參考:【Day 18】
(訓練中) 調整模型 評估當前模型好壞 損失函數(Loss Functions):使用損失函數評估目前模型的好與壞。以MSE(Mean Squared Error), RMSE(Root Mean Squared Error), 交叉熵(Cross Entropy)為例。此處可參考:【Day 20】
(訓練中) 調整模型 修正模型參數 梯度下降法 (Gradient Descent)為例:決定模型中參數的修正「方向」與「步長(step size)」此處可參考:【Day 21】
(訓練中) 調整腳步 調整學習腳步 透過學習速率(learning rate)來調整ML模型訓練的步長(step size),調整學習腳步。(此參數在訓練前設定,為hyper-parameter)。此處可參考:【Day 22】
(訓練中) 加快訓練 取樣與分堆 設定batch size,透過batch從訓練目標中取樣,來加快ML模型訓練的速度。(此參數在訓練前設定,為hyper-parameter)。與迭代(iteration),epoch介紹。此處可參考:【Day 23】
(訓練中) 加快訓練 檢查loss的頻率 調整「檢查loss的頻率」,依據時間(Time-based)步驟(Step-based)。此處可參考:【Day 23】
(訓練中) 完成訓練 (loop) -> 完成 重覆過程(評估當前模型好壞 -> 修正模型參數),直到能通過「驗證資料集(Validation)」的驗證即可結束訓練。此處可參考:【Day 27】
(訓練後) 訓練結果可能問題 「不適當的最小loss?」 此處可參考:【Day 28】
(訓練後) 訓練結果可能問題 欠擬合(underfitting)?過度擬合(overfitting)? 此處可參考:【Day 26】
(訓練後) 評估 - 性能指標 性能指標(performance metrics):以混淆矩陣(confusion matrix)分析,包含「Accuracy」、「Precision」、「Recall」三種評估指標。簡介於:【Day 28】、詳細介紹於:【Day 29】
(訓練後) 評估 - 新資料適用性 泛化(Generalization):對於新資料、沒看過的資料的模型適用性。此處可參考:【Day 26】
(訓練後) 評估 - 模型測試 使用「獨立測試資料集(Test)」測試? 使用交叉驗證(cross-validation)(又稱bootstrapping)測試? 此處可參考:【Day 27】
(資料分堆的方式) (訓練前) 依據上方「模型測試」的方法,決定資料分堆的方式:訓練用(Training)、驗證用(Validation)、測試用(Test)。此處可參考:【Day 27】

★小實驗系列:

文章 實驗內容
【Day 24】 TensorFlow Playground 的簡介與介面介紹
【Day 24】 learning rate 的改變對訓練過程的影響

而今天的文章我們先不討論新東西,我們來做點小實驗。

Course - Launching into Machine Learning

第三章節的課程地圖:(紅字標記為本篇文章中會介紹到的章節)

  • Optimization
    • Introduction to Optimization
      • Introduction
    • Defining ML Models
      • Defining ML Models
      • Introducing the Natality Dataset
    • Introducing Loss Functions
    • Gradient Descent
      • Gradient Descent
      • Troubleshooting a Loss Curve
      • ML Model Pitfalls
    • TensorFlow Playground
      • Lab: Introducing the TensorFlow Playground
      • Lab: TensorFlow Playground - Advanced
      • Lab: Practicing with Neural Networks
      • Loss Curve Troubleshooting
    • Performance Metrics
      • Performance Metrics
      • Confusion Matrix
    • Module Quiz

1. Lab: Introducing the TensorFlow Playground

課程地圖

  • Optimization
    • TensorFlow Playground
      • Lab: Introducing the TensorFlow Playground

所以,我們現在知道gradient descent是如何運作的,
我們現在先使用一些工具來看看這方法實際上運作會是怎麼樣。
你應該會看到很多我們之前有提到的現象。

https://ithelp.ithome.com.tw/upload/images/20190925/201204247mp61cewk1.png

TensorFlow Playground是一個非常強大的工具,
他能幫助我們視覺化neural networks是如何運作的。
(neural networks稍後章節我們就會介紹了)
事實上,我們現在所介紹的linear models就是一種簡化的neural networks
所以這個工具也很適合做linear models的視覺化呈現。

我們會用這個工具來證明我們前面所說的理論知識,可以使我們對ML更有直覺,
我們也會直接了解「設定learning rate」與ML模型是如何降低梯度的。

我也會指出這些內容與之後主題的關係,這些都會在之後的課程有更深入的探討。
首先,我們先看一下介面,
我們先刪除了某些工具的功能,因為他與我稍後將介紹的內容才有關係,
但依然有許多有趣的功能是我們可以使用的。

1.1. 介面介紹

https://ithelp.ithome.com.tw/upload/images/20190925/20120424Ys74e4qyqt.png

  • 首先,我們畫面框起來的指的是features,這些要給model看的inputs

在每一個box裡面的顏色代表的是feature的值,其中橘色代表負值、藍色代表正值,

https://ithelp.ithome.com.tw/upload/images/20190925/20120424bylMafNynC.png

  • 然後這裡有個hidden layers的欄位,我們可以先當作這部分是代表權重(weights)
    我們可以透過「滑鼠靠近」來看這個些值是多少

隨著模型的訓練,這條線的寬度與不透明度會逐漸改變,
這樣的視覺化表示也方便我們能夠快速的理解他們的值。

https://ithelp.ithome.com.tw/upload/images/20190925/201204241DmtrEsI98.png

  • 在output column我們可以同時看見training data與我們的model現在預測的值,
    以及所有的點在features space裡面的位置

  • 我們也看到目前的training loss

這邊都會以「顏色」來表示值(features)

https://ithelp.ithome.com.tw/upload/images/20190925/20120424tajc9FIh47.png

  • 最上方的控制列包含著「重新設定訓練, 開始訓練, 執行單個步驟」的按鈕

  • 還有一個可以下拉的列表,可以調整我們的learning rate

https://ithelp.ithome.com.tw/upload/images/20190925/201204242elAOz9WZJ.png

  • data欄位允許我們選擇不同的資料集,並且也能控制batch size的大小

1.2. 開始訓練

我們就先以訓練一個「linear model」來替我們分類資料開始吧!

https://ithelp.ithome.com.tw/upload/images/20190925/201204244ZVwt1dOF1.png
(這圖我另外截的XD,上面寫"Don’t Worry, You Can’t Break It. We Promise."滿有喜感的XD)
可惡,越是這樣講越讓我想嘗試玩壞看看

當我們點進連結後,我們就會看到TensorFlow Playground的介面,,
我們先介紹一下目前畫面上的配置(不用擔心沒有hidden layers的問題),
在目前我們所看到的介面設定中,這個模型接受一個feature vector
並與weight factor計算內積,再加上bias
然後使用計算結果去建立決策邊界(decision boundary)

因此我們可以將目前的配置視為linear model
我們現在會開始訓練這個model,讓他去嘗試分類一些屬於兩大不同族群的資料。

https://ithelp.ithome.com.tw/upload/images/20190925/20120424OPJM6RaUoc.png

  • 我們點擊畫面上的step鍵(紅框處),我們會注意到畫面開始有ㄧ些變化。
  1. epochs的數值增加1

  2. 我們說代表weights的線換了顏色、也改變了大小

  3. 現在loss function的值也改變了

  4. loss的圖形顯示了往下的斜率

  5. output的決策邊界(decision boundary)也產生了改變

https://ithelp.ithome.com.tw/upload/images/20190925/20120424KJV10ezgUZ.png

我們移動一下滑鼠靠近目前代表1的weights,觀察一下weights目前的大小,

我們現在點擊play的按鈕讓他繼續訓練,但當loss小於0.002時我們就先暫停一下。
(應該會在200 epochs以內)

這時,我們已經完成訓練我們的第一個模型了!


1.3. 小實驗 - 「learning rate 的改變對訓練過程的影響」

現在讓我們稍微改變一點東西,

首先我們先看不同的learning rates是怎麼影響模型訓練的。

簡單複習一下:

learning ratehyperparameter,也就是在訓練模型前設定的。
這個值會乘上偏微分的結果,並決定我們weights要改變(之前我們說的「移動」)的量,

  • 這邊我們先試第一種,我們看看當learning rate非常小(0.00001)的訓練結果
    這邊我們只要先等到約100 epochs即可(大約需要兩秒),然後先暫停訓練。

  • 參考範例連結:https://goo.gl/3pmeKj

  • 現在的loss是多少?
  • loss的變化是怎麼樣的?
  • 然後我們的模型變成了怎麼樣的weights?

https://ithelp.ithome.com.tw/upload/images/20190925/20120424TEoQuVcXdK.png
(調整learning rate的位置)

  • 然後我們將learning rate調整為0.001,並再重新訓練一次
    一樣也是約100 epochs即可先暫停訓練。
  • 現在的loss是多少? (應該會少了很多)
  • loss的變化是怎麼樣的?
  • 然後我們的模型變成了怎麼樣的weights?
  • 再來我們將learning rate調整為0.1,並再重新訓練一次
    一樣也是約100 epochs即可先暫停訓練。
  • 現在的loss是多少? (應該會少更多)
  • loss的變化是怎麼樣的? (減少的有多快?)
  • 然後我們的模型變成了怎麼樣的weights?
  • 最後我們將learning rate調整為10,並再重新訓練一次
    • 我們先試著只做一步看看,注意weight的變化。
  • 再來我們繼續訓練直到100 epochs暫停訓練。
  • 現在的loss是多少? (應該會少更多)
  • loss的變化是怎麼樣的? (減少的有多快?)
  • 然後我們的模型變成了怎麼樣的weights?

我們觀察loss的曲線下降的速度,應該是非常急遽的下降的。

當我們把這些訓練結果放在一起,我們比較這四種的變化,
並試著用我們學到的最佳化知識解釋看看原因,

https://ithelp.ithome.com.tw/upload/images/20190925/20120424EoNUdkWTBV.png

(上面這張表是影片實驗結果的整理,正常來說我們的結果應該會有點不一樣,而重跑實驗也會有點不一樣也是同理。)

TensorFlow Playground幫我們隨機初始化了權重(weights)
這也表示我們每次的搜尋都從一個隨機位置開始。

  • 我們先討論「Weight1」那一直行:
    注意weights的變化與我們learning rate的關係,
    我們發現隨著learning rate增加,weight也會增加。

為什麼呢?

因為我們的模型在訓練的時候走比較大步。
而事實上,當learning rate為10時,「第一步」改變的weight最為顯著。

  • 而我們再看「loss over time」那一直行:

我們發現當learning rate增加,「loss曲線」也逐漸變陡。
這正與我們之前所分析的結果相同。


參考資料


上一篇
【Day 23】 Google ML - Lesson 9 - 加速ML模型訓練的兩大方法(如何設定batch/檢查loss頻率)、batch size, iteration, epoch的概念和比較
下一篇
【Day 25】 Google ML - Lab 5 - 在視覺化的網頁中觀察神經網路(neural network)如何分類資料, 並比較batch size如何影響gradient descent
系列文
Google machine learning 學習筆記30

尚未有邦友留言

立即登入留言