0. 前言 距離真正完成表情辨識的App,只差把辨識圖像的功能實作出來,在這裡我們必須將Day21存好的TFLite模型拿出來,製作出含有metadata的TF...
Colab連結 今天要探討的主題在模型從CNN Layer 轉變成 Dense Layer 時,使用 GlobalAveragePooling (GAP) 與...
Colab連結 今天大家介紹 Gradient Exploding (梯度爆炸) 與 Gradient Vanishing (梯度消失),並會簡單做個實驗觸發這...
前言 注意力機制讓預測目標單詞之前比較其與所有來源單詞(在翻譯任務中精確地來說是詞向量)之間的語意關聯性來提高翻譯的準確度。今天就讓我們來快速回顧注意力機制的原...
colab連結 普遍我們拿來訓練的圖片都是RGB,普遍都是機器學習的CNN層找到一些局部特徵來做分類,這些局部特徵對我們人來說,即使是轉成視覺化的特徵值,依然是...
Colab連結 昨天我們實驗了有無做 Normalization 的差異,但我在 stackoverflow 剛好看到一篇精彩的討論,主要爭論的點是我應該把圖片...
It is only our conception of time that makes us call the Last Judgement by this...
MLOps 是值得持續投入的新興學門,如同 Day 01 談到的此系列目的,談如何從佈署機械學習至商業情境(ML in Production),並關注佈署之...
Colab連結 圖片標準化 Image Normalization 不做可以嗎?小實驗實測差別 一般我們在處理大部分的機器學習問題時,我們都會將輸入的資料特徵做...
用於生產的機械學習系統,在 Day 28 介紹 TensorFlow Extended (TFX) 解決方案,是專門用於可擴充的高效能機器學習工作,包括建立模...
Colab連結 資料增強(Data Augmentation),是一個當今天資料集樣本不多時,透過調整亮度、剪裁、角度等手法來增加多樣性的好方法,Tensorf...
什麼是 TensorFlow Extended (TFX) TensorFlow Extended (TFX) 是端對端平台,可部署於用於生產環境中的機器學習...
1. 回顧 下列是過去十天我用各種技巧訓練的模型,只要該技巧對 val acc 或 val loss 有勝過 EFN_base,那我就會將其納入最後的模型實驗。...
前言 受惠於深度學習框架的多元性,開發者可以選自己喜歡的框架,像是: Theano、Caffe、ONNX、Keras、Tensorflow、Pytorch、DL...
Colab連結 通常在 model.compile() 時,我們要指定這個訓練應該要使用哪種 loss 來計算,前面幾天我們比較了各種 cross entrop...
在網路情境常以 API 請求服務,用於生產的機械學習亦可用 REST API 形式提供服務。在Day 20、Day 21、Day 22 介紹部署在算力有限的終...
Colab連結 接著昨天討論到的 Cross Entropy ,今天把重點放到了 BinaryCrossEntropy 上,顧名思義,之所以叫 Binary 就...
模型公平性的思考 隨著 AI 對於各領域和社會的影響逐漸增加,建立公平且可包容所有人的系統至關重要,為達到負責任的 AI,重視公平性,實踐以人為本的設計初衷...
Colab連結 要來討論今天主題前,先來複習一下什麼是交叉熵 Cross-Entropy ,我覺得這部影片介紹得很不錯,簡而言之,我們可以將交叉熵當作資訊的亂度...
前言 走過了資料分析、演算法選擇後,我們得知了有些可以改善模型的方向: 解決資料不平衡(Done) 學習率的設定(Done) 訓練輪數(Nice to hav...
Colab連結 今天的主題是要探討優化器(Optimizer)對模型學習的影響,有關優化器該用哪個好,也是一個蠻令人頭痛的問題,大部分的時候優化器都可以讓你成功...
當您用心呵護的機械學習終於實現,期待能滿足與提升使用者福祉,您應該有足夠的信心與能力對產品負責, AI 產品亦然。 延續系列文對您的機械學習產品生命週期的思考...
Colab連結 昨天我們介紹了 Shuffle 這支 API 的使用方式,其中特別提到了如果今天資料集本身沒有先打散的話,你後面再做 shuffle 時,如果...
模型分析 TFMA 介紹 過往我們關注模型的訓練結果,會追蹤該模型在每次 epochs 之後的 AUC 、 ACC、 loss 等指標變化,並且以視覺化繪圖...
前言 走過了資料分析、演算法選擇後,我們得知了有些可以改善模型的方向: 解決資料不平衡 學習率的設定 訓練輪數 模型深度 階段式訓練 今天我要來著手處理資料...
Colab連結 今天的主題比較特殊一些,要來探討 tensorflow 中的 Dataset api : shuffle, batch 和 repeat 的順序...
什麼是知識蒸餾 Knowledge Distillation 知識蒸餾 Knowledge Distillation 為模型壓縮技術,其中 student 模...
Colab連結 有沒有人發現幾乎每個在開源的專案上,Batch size 都是2的N次方,像32, 128, 256等,經過我在 stackoverflow 查...
如果說可以讓模型縮小10倍,精度還維持水準,這是什麼巫術? 延續 Day 20 的模型優化作法,本次再結合剪枝技術做到更輕量的模型效果。 什麼是剪枝 Pru...
Colab連結 昨天探討了 Batch size 的問題和前天的 Warm-up 問題後,其實在我心中還是有個好奇的問題,也就是 Batch size 和 Le...