iT邦幫忙

第 11 屆 iT 邦幫忙鐵人賽

DAY 16
0

在這裡展示如何使用TensorBoard監控培訓。
讓我們重新審視我們的進展。兩次檢查,兩次以上。
因此隨著培訓的進展,我們將獲得評估指標。讓我們使用名為TensorBoard的工具將它們可視化。
這實際上是任何培訓的最佳實踐。當您在圖表上比較訓練和曲線評估時,您可以看到許多有用的東西。
我一直使用火車進行評估,而不僅僅是在進行分佈式培訓時。
TensorBoard是一種工具,可讓您可視化模型寫入磁盤的培訓和生物識別。
TensorBoard是TensorFlow安裝的標準配置。
這是一個常見的行工具,指向您在運行配置中指定的輸出目錄,TensorBoard儀表板出現在本地主機列606中。
預製估算器帶有一組預定義的標準指標,因此您無需配置任何其他內容。
例如,您將在同一圖表上看到您的培訓和評估損失。這有助於查看您的模型是否過度擬合。
密集神經網絡估計器還跟踪輸出零的神經元的分數。當您使用ReLU激活功能時會發生這種情況,但您應該密切關注它。如果你的所有神經元都輸出了零,那麼你的神經網絡已經死了。
TensorBoard也是您可以看到TensorFlow圖的地方。
這可能對調試很有用,或者如果您想查看代碼生成的圖形。
如果您正在構建自定義估算器,指定自己的神經網絡層,您還可以使用tf dot summary dot something命令記錄各種類型的數據並在TensorBoard中將其可視化。
它們可以是數字,文本,圖像甚至音頻文件。使用估算器API,一行就是在模型中寫出來的所有內容。
Tf點匯總點標量,然後是您想在TensorBoard中看到的圖表的名稱,以及帶有要繪製的值的Tensor。
如果您沒有使用估算器API,還有一些額外的步驟。
例如,直方圖。可視化可能在您自己的輸出上發生的不良事情很有用。
在左側,我們有一個直方圖,通過時間表示由S形激活的神經網絡層出來的所有值。然後我們看到了一個問題。在零處有一個峰值,另一個在一個峰值,我們的大多數神經元都飽和,可能不是很有用。稱為批量規範化的正則化技術可以解決這個問題。這是批次規範後同一層的輸出,現在我們的神經元在整個有用範圍內產生值。這是否會產生更好的結果,取決於模型,但至少看到批量標準化正在發揮作用。


上一篇
[Day 15] 初步評估方法簡介
下一篇
[Day 17] Cloud AI Platform
系列文
Machine Learning Study 30天學習筆記19

尚未有邦友留言

立即登入留言