大家好，我是毛毛。
今天是Day 12，昨天講了機器學習的部分。
今天再來看Deep Learning~ ヽ(✿ﾟ▽ﾟ)ノ

Deep Learning

深度學習其實是機器學習的一個分支，透過多層的Layer將資料轉換成線性或非線性，並自動取出資料的代表特性。
深度學習其實很簡單，就跟把大象放進冰箱一樣，只需要三個步驟：「打開冰箱、放進大象、關上冰箱門」，台大李宏毅說深度學習也只需要三個步驟：「建構網路、設定目標、開始學習」。

常見的深度學習架構：

• Multilayer Perceptron，多層感知器
• Deep Neural Network，深度神經網路
• Convolutional Neural Network，卷積神經網路
• Recurrent Neural Network，遞迴神經網路

應用領域，像是：

• 自然語言處理
• 語音辨識
• 圖像辨識
• 生物醫學

而深度學習中的神經網路，主要分為三層：

• Input Layer，輸入層
• Hidden Layer，隱藏層
• Output Layer，輸出層

其中隱藏層的層數可以非常多層，也是被稱為深度學習的原因。
這邊以Single Neuron為例。

圖片來源：Mr. Opengate

將輸入值乘以權重並加在一起，再看有沒有超過閾值，然後透過activation function進行轉換。

Gradient Descent

中文稱梯度下降法，透過偏微分取斜率，一步一步逼近直到沒有顯著改善，這時就找到最小的loss了，如下圖所示。

上圖為Gradient Descent概念

強化學習中加入Deep Learning

以強化學習中的Q-Learning為例，Q-Learning有一個Q-table去以state和action為索引存Q value。但這只限state和action的數量有限且不過多，才有可能建立。

上圖為Q-table示範圖

如果今天state和action的數量過大，Q-table的建立就變得很困難，因此便有了Deep Q-Learning，它的理念就是把Q-table用neural network取代，由於使用neural network所以可以從state space中自動提取特徵，這個是Q-table不能做到的。

今天就這樣啦~
大家明天見