iT邦幫忙

colab相關文章
共有 33 則文章
鐵人賽 AI & Data DAY 30

技術 【30】使用混合精度(Mixed precision) 對訓練產生的影響

Colab連結 一般我們在做機器學習任務時,在模型裡計算的資料型態採用的是 float32 (即佔用32的bits或4個bytes),而 Nvidia 與 Ba...

鐵人賽 AI & Data DAY 29

技術 【29】遇到不平衡資料(Imbalanced Data) 時 使用 SMOTE 解決實驗

Colab連結 今天要介紹處理不平衡資料的方法叫 SMOTE (Synthetic Minority Oversampling Technique),其原理就是...

鐵人賽 AI & Data DAY 28

技術 【28】遇到不平衡資料(Imbalanced Data) 時 使用 Oversampling 解決實驗

Colab連結 昨天我們使用了降低多數樣本 Undersampling 的方式來解決少數樣本的問題,今天我們要用複製少數樣本 Oversampling 方式來實...

鐵人賽 AI & Data DAY 27

技術 【27】遇到不平衡資料(Imbalanced Data) 時 使用 Undersampling 解決實驗

Colab連結 不平衡資料集(Imbalanced Dataset) 指的是當你的資料集中,有某部分的 label 是極少數的狀況,在這種狀況下,若單純只用準確...

鐵人賽 AI & Data DAY 26

技術 【26】你都把 Batch Normalization 放在 ReLU 前面還是後面

Colab連結 Batch Normalization 到底要放在激勵函數之前還是之後呢?這是之前我在自己練習規劃架構時遇到的問題,我把這個問題拿去網路上查時,...

鐵人賽 AI & Data DAY 25

技術 【25】ReLU 家族評比 個別使用ReLU LeakyReLU PReLU SELU 來訓練

Colab連結 今天要來實驗不同的 ReLU 家族的評比,挑戰者有 基本 ReLU 尾巴翹起來的 Leaky ReLU 帶有參數控制尾巴的 PReLU 比較新...

鐵人賽 AI & Data DAY 24

技術 【24】如果把 Dropout 放在 CNN 之後會發生什麼事

Colab連結 不知道大家有沒有發現,目前現在主流的網路結構中已經愈來愈少看到 Dropout 了,在早期 VGG 還當紅時,Dropout 在 Dense L...

鐵人賽 AI & Data DAY 23

技術 【23】Batch Normalization 使得 Regularizers 無效化?談談這兩者的交互影響

Colab連結 昨天我們探討了 L1 與 L2 Regularizers 的問題,但其實啊,Regularizers 還有一個和 Batch Normaliza...

鐵人賽 AI & Data DAY 22

技術 【22】正規化方法 L1 與 L2 Regularizers 的比較實驗

Colab連結 正規化 (Regularizers) 是在 Loss Function 中,多加一項權重的懲罰,目的是規範模型在學習過程中,避免權重值過大,達到...

鐵人賽 AI & Data DAY 21

技術 【21】不同的模型權重初始化 (Weight Initialization) 對應的使用方式

Colab連結 有關權重如何初始化也是個各派不同的訓練方法,從 tf.keras 官方文檔就看到一大堆的初始化方式,對於開始接觸的人來說,還真是頭痛。 我們知道...

鐵人賽 AI & Data DAY 20

技術 【20】從頭自己建一個 keras 內建模型 (以 MobileNetV2 為例)

Colab連結 雖然 Tensorflow 提供了幾個預訓練模型讓我們可以很快的完成訓練任務,但是有時候想做一需實驗時(比如說微調 mobilenet 的 CN...

鐵人賽 AI & Data DAY 19

技術 NNI如何搬到雲端上玩?

截至目前為止,NNI也安裝了,model也會了。可是,就是沒有錢買一張繪圖卡,到cuda device去飆速訓練。 沒關係,雲端上有兩位大神,可以免費讓您遨遊,...

鐵人賽 AI & Data DAY 19

技術 【19】使用 Pooling 和 Conv 來把圖片變小 (subsampling) 的比較實驗

Colab連結 早期剛學深度學習時,我們 AlexNet 學到了幾個基本的 CNN, Dense, Pooling, Dropout Layers,其中 Poo...

鐵人賽 AI & Data DAY 18

技術 【18】GlobalAveragePooling 與 Flatten 的差異與比較

Colab連結 今天要探討的主題在模型從CNN Layer 轉變成 Dense Layer 時,使用 GlobalAveragePooling (GAP) 與...

鐵人賽 AI & Data DAY 17

技術 【17】訓練到一半遇到 nan 嗎? 梯度爆炸與梯度消失的測試實驗

Colab連結 今天大家介紹 Gradient Exploding (梯度爆炸) 與 Gradient Vanishing (梯度消失),並會簡單做個實驗觸發這...

鐵人賽 AI & Data DAY 16

技術 【16】如果把圖片從RGB轉成HSV和灰階再拿去訓練會怎樣

colab連結 普遍我們拿來訓練的圖片都是RGB,普遍都是機器學習的CNN層找到一些局部特徵來做分類,這些局部特徵對我們人來說,即使是轉成視覺化的特徵值,依然是...

鐵人賽 AI & Data DAY 15

技術 【15】圖片標準化 [0,1] 與 [-1,+1] 的差別實驗

Colab連結 昨天我們實驗了有無做 Normalization 的差異,但我在 stackoverflow 剛好看到一篇精彩的討論,主要爭論的點是我應該把圖片...

鐵人賽 AI & Data DAY 14

技術 【14】如果不做圖片標準化(Normalization)會怎麼樣

Colab連結 圖片標準化 Image Normalization 不做可以嗎?小實驗實測差別 一般我們在處理大部分的機器學習問題時,我們都會將輸入的資料特徵做...

鐵人賽 AI & Data DAY 13

技術 【13】模型套不套用資料增強 (Data Augmentation) 的比較實驗

Colab連結 資料增強(Data Augmentation),是一個當今天資料集樣本不多時,透過調整亮度、剪裁、角度等手法來增加多樣性的好方法,Tensorf...

鐵人賽 AI & Data DAY 12

技術 【12】新手容易忽略的 logit 與 loss 之間的搭配

Colab連結 通常在 model.compile() 時,我們要指定這個訓練應該要使用哪種 loss 來計算,前面幾天我們比較了各種 cross entrop...

鐵人賽 AI & Data DAY 11

技術 【11】二分類問題下 Binary Cross Entropy 的使用注意事項

Colab連結 接著昨天討論到的 Cross Entropy ,今天把重點放到了 BinaryCrossEntropy 上,顧名思義,之所以叫 Binary 就...

鐵人賽 AI & Data DAY 10

技術 【10】多分類問題下 Sparse Cross Entropy 與 Categorical Cross Entropy 的用法差異

Colab連結 要來討論今天主題前,先來複習一下什麼是交叉熵 Cross-Entropy ,我覺得這部影片介紹得很不錯,簡而言之,我們可以將交叉熵當作資訊的亂度...

鐵人賽 AI & Data DAY 9

技術 【9】各種優化器(Optimizer) 大車拼實驗

Colab連結 今天的主題是要探討優化器(Optimizer)對模型學習的影響,有關優化器該用哪個好,也是一個蠻令人頭痛的問題,大部分的時候優化器都可以讓你成功...

鐵人賽 AI & Data DAY 8

技術 【8】資料集有沒有事先 shuffle 對訓練所產生的影響

Colab連結 昨天我們介紹了 Shuffle 這支 API 的使用方式,其中特別提到了如果今天資料集本身沒有先打散的話,你後面再做 shuffle 時,如果...

鐵人賽 AI & Data DAY 7

技術 【7】Dataset 的三個API : Shuffle Batch Repeat 如果使用順序不同會產生的影響

Colab連結 今天的主題比較特殊一些,要來探討 tensorflow 中的 Dataset api : shuffle, batch 和 repeat 的順序...

鐵人賽 AI & Data DAY 6

技術 【6】為什麼 Batch size 通常都是設成2的n次方

Colab連結 有沒有人發現幾乎每個在開源的專案上,Batch size 都是2的N次方,像32, 128, 256等,經過我在 stackoverflow 查...

鐵人賽 AI & Data DAY 5

技術 【5】超參數 Batch size 與 Learning rate 的關係實驗

Colab連結 昨天探討了 Batch size 的問題和前天的 Warm-up 問題後,其實在我心中還是有個好奇的問題,也就是 Batch size 和 Le...

鐵人賽 AI & Data DAY 4

技術 【4】實驗 Batch size大小對訓練模型的影響

Colab連結 相信每個人在學習ML時,都會遇到超參數 Batch size 應該要設置多少才好的問題,一般大家在教科書上學到的大部分是:當 Batch siz...

鐵人賽 AI & Data DAY 3

技術 【3】訓練前先暖身 - 學習率 Warm-up 策略

Colab連結 Warm-up 訓練是由這篇 Paper 提出的一種方法,主要的想法是提供模型在正式訓練前,做一個類似暖機的動作,由於模型在初始狀態時,過高的學...

鐵人賽 AI & Data DAY 2

技術 【2】學習率大小的影響與學習率衰減(Learning rate decay)

Colab連結 大家應該聽到爛了,學習率(Learning rate)指的是模型每做完一次 back propagation 後產生的 gradient 再乘上...