鐵人檔案
上學期在修李宏毅教授的「機器學習」(2022 Spring) 一課時，受益匪淺，但是仍然有不少延伸教材來不及學習，也還有一些 Homework 沒有找到或實作出 performance 最高的做法。因此我將在這 30 天中，帶大家一起學習這門課的基礎與進階教材，也會穿插記錄我挑戰該門課 15 門作業 Boss baseline 的實作方法與心得。本系列會涵蓋的主題包括經典的 regression, image/speech classification，也有文本與圖像生成，以及強化學習、模型壓縮、life-long and meta learning 等主題。
大家好，我目前正在就讀台大資料科學碩士班。上學期修李宏毅教授的 ML 一課時，整個學期有 15 次作業，每次作業都是不同的主題，修課同學會將自己訓練好的 mod...
什麼是 Adversarial Attack? 在如今這個FaceID 人臉識別、車牌辨識、手寫數字識別無處不在的世界，大家似乎也早已習慣深度學習在影像識別的成...
一直覺得 Attention is all you need 也就是提出 Transformer 的那篇 paper，裡面提到 positional encod...
Adam 作為我最常使用的 Optimizer，就算無腦直接用，參數也直接用 default setting 的，常常結果也還不錯。但後來發現在訓練 Trans...
雖然 Self-Attention 最初在 Transformer 中被使用的時候，是用來解決 NLP 的問題，但後來也有人把 Self-Attention 的...
自 Self-Attention 被提出來後，基於它的變種就如雨後春筍般出現在各大 conference 上。因為在計算 attention matrix 時往...
Transformer 作為一個 NLPer 一定要知道的經典模型，沒有手刻一遍好像說不過去。本文將搭配原理詳解 Transformer 的各個 compone...
HW7 的目標是要用 BERT-based 的 model 來 train 一個 extractive question answering model，使用的...
請使用網站 https://exbert.net/exBERT.html 及模型 [bert-based-cased] 分析以下句子：The police...
Describe the difference between WGAN* and GAN**, list at least two differences....
