iT邦幫忙

鐵人檔案

2021 iThome 鐵人賽
回列表
AI & Data

30 天在 Colab 嘗試的 30 個影像分類訓練實驗 系列

本系列文將借用 Google 提供的 Colab 平台,在上面執行 30 個影像分類訓練任務,每個主題都會探討在不同的狀況或不同的超參數對於同一個任務會有什麼影響,在面對不同的領域時,機器學習運作起來就像個黑箱子,很難第一次訓練就得到最佳解,只能透過不斷的調教來慢慢修正,本篇系列文會拿我在機器學習工作中,有時想到但沒有時間細察的假設問題來當主題,並且在 Colab 上實際執行看結果如何,會有滿滿的假設與實作!

鐵人鍊成 | 共 31 篇文章 | 4 人訂閱 訂閱系列文 RSS系列文
DAY 1

【1】做不做遷移式學習(Transfer Learning)的差異

關於: 本系列文將借用 Google 提供的 Colab 平台,在上面執行 30 個影像分類訓練任務,每個主題都會探討在不同的狀況或不同的超參數對於同一個任務會...

2021-09-15 ‧ 由 Capillary J 分享
DAY 2

【2】學習率大小的影響與學習率衰減(Learning rate decay)

Colab連結 大家應該聽到爛了,學習率(Learning rate)指的是模型每做完一次 back propagation 後產生的 gradient 再乘上...

2021-09-16 ‧ 由 Capillary J 分享
DAY 3

【3】訓練前先暖身 - 學習率 Warm-up 策略

Colab連結 Warm-up 訓練是由這篇 Paper 提出的一種方法,主要的想法是提供模型在正式訓練前,做一個類似暖機的動作,由於模型在初始狀態時,過高的學...

2021-09-17 ‧ 由 Capillary J 分享
DAY 4

【4】實驗 Batch size大小對訓練模型的影響

Colab連結 相信每個人在學習ML時,都會遇到超參數 Batch size 應該要設置多少才好的問題,一般大家在教科書上學到的大部分是:當 Batch siz...

2021-09-18 ‧ 由 Capillary J 分享
DAY 5

【5】超參數 Batch size 與 Learning rate 的關係實驗

Colab連結 昨天探討了 Batch size 的問題和前天的 Warm-up 問題後,其實在我心中還是有個好奇的問題,也就是 Batch size 和 Le...

2021-09-19 ‧ 由 Capillary J 分享
DAY 6

【6】為什麼 Batch size 通常都是設成2的n次方

Colab連結 有沒有人發現幾乎每個在開源的專案上,Batch size 都是2的N次方,像32, 128, 256等,經過我在 stackoverflow 查...

2021-09-20 ‧ 由 Capillary J 分享
DAY 7

【7】Dataset 的三個API : Shuffle Batch Repeat 如果使用順序不同會產生的影響

Colab連結 今天的主題比較特殊一些,要來探討 tensorflow 中的 Dataset api : shuffle, batch 和 repeat 的順序...

2021-09-21 ‧ 由 Capillary J 分享
DAY 8

【8】資料集有沒有事先 shuffle 對訓練所產生的影響

Colab連結 昨天我們介紹了 Shuffle 這支 API 的使用方式,其中特別提到了如果今天資料集本身沒有先打散的話,你後面再做 shuffle 時,如果...

2021-09-22 ‧ 由 Capillary J 分享
DAY 9

【9】各種優化器(Optimizer) 大車拼實驗

Colab連結 今天的主題是要探討優化器(Optimizer)對模型學習的影響,有關優化器該用哪個好,也是一個蠻令人頭痛的問題,大部分的時候優化器都可以讓你成功...

2021-09-23 ‧ 由 Capillary J 分享
DAY 10

【10】多分類問題下 Sparse Cross Entropy 與 Categorical Cross Entropy 的用法差異

Colab連結 要來討論今天主題前,先來複習一下什麼是交叉熵 Cross-Entropy ,我覺得這部影片介紹得很不錯,簡而言之,我們可以將交叉熵當作資訊的亂度...

2021-09-24 ‧ 由 Capillary J 分享