iT邦幫忙

2021 iThome 鐵人賽

DAY 9
0

這回,我們將焦點放在WebUI的trials detail中的Hyper-parameter。
請在WebUI上方的trials detail 按下,然後點擊 Hyper-parameter ,您將會看到下圖:

Hyper-parameter

此圖中,主要列出了:batch_size, hidden_size, lr, momentum and default matric。

  • batch_size:在mnist.py中的第41行,def train(…)中,於訓練本模型時,每批注入的訓練資料筆數。
  • hidden_size:在mnist.py中的第22行,class Net(…)中,定義了神經網路hidden_size的大小。
  • ls:在mnist.py中的第110行,optimizer = optim.SGD(…)中,定義optimizer的learn rate。
  • momentum :在mnist.py中的第110行,optimizer = optim.SGD(…)中,定義optimizer的momentum 值。
  • default matric:執行完trial所得到的值。

<<探討>>
從參數組合的角度來看,先不論momentum參數(因非離散值),應該有 4^3 = 64 種組合。可是我們只設定了10個trials,會不會有trial不全的疑慮呢?
其實,在[大綱描述]那節,我們提到了Advisor,包含了tuner and assessor。這兩個功能內的演算法,會自動提前終止不必要的trial。

<<問題>>
請嘗試將trials提高到15,看看有何不同。


上一篇
NNI安裝後的驗證02
下一篇
NNI安裝後的驗證04
系列文
新手一起來Azure上玩 NNI (auto-ML的一種)30
圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言