鐵人檔案
台大李宏毅老師在 2021 年教授的機器學習課程。課程內容涵蓋得相當廣泛。除了講解深度學習的基礎知識外，還包含了「類神經網路訓練不起來怎麼辦」、「元學習」與「神經網路壓縮」等實用和新穎的內容．
機器學習(Machine Learning)就類似「找一個函式」。這個函式可以接受輸入，然後輸出正確答案。而機器學習的類別可以分為三種類別(types)。分別是...
之前提到了一個模型，也就是一個函式。 這邊把它擴展一下，變成 其中 sigmoid 為 當 很大的時候，這個函式就會是 1，反之，如果 很小，這個函式...
到現在已經學習了機器學習的三個步驟。分別是「定義模型」、「定義損失」，再來就是「做最佳化」。知道這三個步驟後，我們要如何才能做得更好呢? 首先要看模型在訓練資料...
在訓練模型的時候，有時候會發生訓練的損失(loss)無法隨著更多的迭代更新進一步降低，有可能就是來到了critical point。這邊所說的 critical...
小批量與大批量 小批量: 優點走的是穩的，缺點是蓄力/技能冷卻時間長，要把所有的資料都看過一遍才更新參數大批量: 缺點是走的每一步是不穩的，但技能冷卻時間短。...
對於人類來說，大腦具有極佳獲取和識別的能力。特別是學習新的事物，人們可以根據少量的觀察快速學會潛在的邏輯，然後應用於其它未知的概念。而現今機器學習已在不同應用領...
當在訓練模型時，損失(Loss)不再下降的時候，可以確認梯度(gradient)的大小。如果梯度是很小的，那可以判斷該點是在奇點(critical point)...
這邊很快地介紹分類問題(Classification)。先講分類的問題轉乘迴歸的分法來做。在這邊要注意的是，不同的類別是否有相似的程度，例如說，用身高體重來預測...
剛剛發現忘記了 batch 對模型的影響，又回去看了影片一次...人老惹真的容易忘。 batch normailization 可以作為改變 Landscape...
今天進行到第十天了，在正課之前先說一點感想，有關李宏毅老師的課與鐵人賽的部分。 有關課的部分： 李宏毅老師真的相當厲害與認真。其實 AI 發展很快，從 2018...
