技術 【Day 11】機器學習的訓練過程 - Part 3. 最佳化與學習率

零、前言 在上一篇中，我們從一些數學方法中，了解到一些基礎的 Loss Function ，如 BCE 與 CCE 是如何定義的，並且知道可以透過 Softma...

技術 [Day17] Optimizations for GPU computation

前言 前幾日的文章，討論到了在訓練過程中，從資料的I/O、前處理到放入GPU之前的優化方式。今天將討論在GPU內的優化方式。 自動混和精度 - automati...

技術 [Day 29] Optimize Images

取自 Artifact Austin: Leaving Pixels Behind - Todd Parker，哪些圖片適合使用 SVG？ 在網頁中，圖片...

技術 [Day 22] Performance - Rendering Optimization

概覽 大部分的瀏覽器會以每秒 60 次的頻率刷新頁面，反過來說只要瀏覽器來不及在 16 毫秒（1000/60）內產出下一個畫面就會讓使用者感覺卡卡的，影響使用體...

技術 20. [FE] 如何提升網站效能？

Perl 之父 Larry Wall 曾說過，工程師有三大美德，分別是：「懶惰」、「急躁」與「傲慢」。其中的「急躁」指的便是對於效能低落的程式會有所追求；身為...

技術 [魔王出沒] 深度學習中的魔王軍簡介

其實這篇應該先寫於《精進魔法》系列之前的，但沒關係，只要有 [地圖] 深度學習世界的魔法陣們 指引，你能夠照你想要挑戰的項目去學習。 以下介紹深度學習的魔王們，...

技術 [精進魔法] Optimization：優化深度學習模型的技巧（下）－ Batch Normalization

本文主題是「Batch Normalization」，Ian Goodfellow 大大在《Deep Learning》一書中是這麼描述 Batch Norma...

技術 [精進魔法] Optimization：優化深度學習模型的技巧（中）－ Adaptive Learning Rates

前情提要 在 [精進魔法] Optimization：優化深度學習模型的技巧（上）一文中提及了下面三種優化 deep learning 模型的作法： Batc...

技術 [精進魔法] Optimization：優化深度學習模型的技巧（上）

上篇提到怎麼避免 Overfitting 的技巧，本文要帶給大家的是如何優化深度學習，提高模型的效能。 Batch & Mini batch 深度學習每...