iT邦幫忙

第 11 屆 iT 邦幫忙鐵人賽

DAY 25
1
Google Developers Machine Learning

Google Developers Machine Learning 學習系列 第 25

【Day 25】Launching into Machine Learning(Introduction to Practical ML-6)

前言

終於講Neural Network了,明天應該會講Tree-based的演算法,剩下四天希望能好好收尾。

主題

理論上依照出現時間,Neural Netowrk應該在SVM之前,至於為什麼沒落了一段時間?又為什麼再次興起呢?就在這章節盡可能的帶過。

Neural Network

古早以前經典的Neural Network就是用Perceptron串接起來的三層結構: Input --> Hidden --> Output
這邊有人會說是 3-layer,也有些人是用Weight層數來算是 2-layer,實際上都是在講相同的東西。然而,在過去這樣在現今看起來非常淺層的模型,卻仍很難被訓練成功,而且電腦也需要花很多時間計算,因此,才會被放棄了一段時間。(若現在不使用機器學習的Package去土炮刻出來,應該也會遇到相同的問題)
原因是什麼呢?
1.硬體
硬體上儲存空間運算速度,前者限制了模型的大小,過大的矩陣與資料無法被存取,後者則是導致計算時間過長,不符合效益。
2.軟體
此項不算太主要的原因,只是錦上添花,現在有許多開源的套件,無論是機器學習或是其它數學運算的方法,讓演算法的實現更快速,效率上也有專門的軟體工程師進行優化,整體的生命週期可以縮短許多。
3.算法
過去在調參Neural Network的模型時,被認為需要很多黑魔法才能夠訓練成功,也衍伸一些調參用的演算法。主要核心的問題大概是:初始值設定最佳化的困難。初始值的選取真的非常重要,因為這在一開始就會決定模型到底能不能訓練的成功。最佳化的困難上,後來用反向傳播(Backpropagation)初步的解決,但接著又衍生出梯度消失\爆炸等問題。
4.其它
越大型的Neural Network使用越多參數,從簡單的解聯立方程式問題來看,變數越多需要越多方程式,因此,需要越多的資料。在過去的資料集幾千幾萬筆資料可能就算"大"了,這樣卻遠遠不夠訓練大型的神經網絡,但受限於硬體的儲存限制資料蒐集的困難,無法有足夠大型的資料集。隨著時代的推進,開始能利用網際網路進行Crowdsourcing或各種感知裝置來蒐集數據,再加上分散式儲存系統的逐漸成熟,讓資料數量能以超越千萬量級的速度被創造與儲存,進而支撐巨型的神經網路能夠被訓練成功。


上一篇
【Day 24】Launching into Machine Learning(Introduction to Practical ML-5)
下一篇
【Day 26】Launching into Machine Learning(Introduction to Practical ML-7)
系列文
Google Developers Machine Learning 學習30

尚未有邦友留言

立即登入留言