台大李宏毅老師在 2021 年教授的機器學習課程。課程內容涵蓋得相當廣泛。除了講解深度學習的基礎知識外,還包含了「類神經網路訓練不起來怎麼辦」、「元學習」與「神經網路壓縮」等實用和新穎的內容.
機器學習(Machine Learning)就類似「找一個函式」。這個函式可以接受輸入,然後輸出正確答案。而機器學習的類別可以分為三種類別(types)。分別是...
之前提到了一個模型,也就是一個函式。 這邊把它擴展一下,變成 其中 sigmoid 為 當 很大的時候,這個函式就會是 1,反之,如果 很小,這個函式...
到現在已經學習了機器學習的三個步驟。分別是「定義模型」、「定義損失」,再來就是「做最佳化」。知道這三個步驟後,我們要如何才能做得更好呢? 首先要看模型在訓練資料...
在訓練模型的時候,有時候會發生訓練的損失(loss)無法隨著更多的迭代更新進一步降低,有可能就是來到了critical point。這邊所說的 critical...
小批量與大批量 小批量: 優點走的是穩的,缺點是蓄力/技能冷卻時間長,要把所有的資料都看過一遍才更新參數大批量: 缺點是走的每一步是不穩的,但技能冷卻時間短。...
對於人類來說,大腦具有極佳獲取和識別的能力。特別是學習新的事物,人們可以根據少量的觀察快速學會潛在的邏輯,然後應用於其它未知的概念。而現今機器學習已在不同應用領...
當在訓練模型時,損失(Loss)不再下降的時候,可以確認梯度(gradient)的大小。如果梯度是很小的,那可以判斷該點是在奇點(critical point)...
這邊很快地介紹分類問題(Classification)。先講分類的問題轉乘迴歸的分法來做。在這邊要注意的是,不同的類別是否有相似的程度,例如說,用身高體重來預測...
剛剛發現忘記了 batch 對模型的影響,又回去看了影片一次...人老惹真的容易忘。 batch normailization 可以作為改變 Landscape...
今天進行到第十天了,在正課之前先說一點感想,有關李宏毅老師的課與鐵人賽的部分。 有關課的部分: 李宏毅老師真的相當厲害與認真。其實 AI 發展很快,從 2018...