大家好，我是毛毛。
今天是Day 11，昨天介紹了ILP和Heuristic algorithm。
本來規劃今天要來看機器學習與深度學習，由於合在一起講篇幅有點太長，因此深度學習就改到明天在放。
所以今天要看的是Machine Learning ~ ヽ(✿ﾟ▽ﾟ)ノ

Machine Learning

是人工智慧發展的一環。指的是讓機器「自主學習」並「增強」的演算法。透過迴歸分析，機器能從一堆數據中找出規律並做出預測，當輸入的數據越來越多，演算法也會持續的調整並做出更精準的分析。

使用機器學習最主要是希望能從蒐集的資料中找出有用的規則，並透過找到的規律再去對未來的資料作預測。

機器學習的類型有下列幾種：

• Supervised Learning，監督式學習
  • 這種學習方式需要提供機器輸入與相對應輸出，然後讓演算法自己想辦法找到輸入與輸出的關聯性。
  • 舉例來說：如果今天要辨識貓的圖片，那就得先提供機器訓練用的圖片，並加上標籤也就是告訴它這些圖片是什麼動物（像是：貓、狗…），讓它可以去預測未來丟進來的資料是什麼動物。
• Unsupervised Learning，非監督式學習
  • 這種學習方式只需要提供輸入的資料，讓機器自己去將資料做分群。
  • 舉例來說：今天拿了各種不同顏色的樂高積木，但是我們並不跟機器說這些樂高積木的顏色，讓機器自己根據顏色做分群。
• Semi-supervised Learning，半監督式學習
  • 這種學習方式要提供輸入資料，但是只有部分的輸入資料有對應標籤。
• Reinforcement Learning，強化學習
  • 強調機器基於環境而行動，目的是要取得最大的利益。
  • 在SFC的配置問題上，大多數有用到機器學習都是使用強化學習的方法，所以這邊就特別講強化學習一下。

Reinforcement Learning

強化學習其實就是在訓練一個Agent，讓它從錯誤中學習，所以一開始這個Agent可能會一直失敗，但是在經過了幾次的失敗之後，這個Agent的表現就會變得很好了。

上圖為強化學習的概念圖

從上圖可以看到有一個Agent，它會根據從環境接收到的State去選擇當下最好的動作（Action），再去接收環境對於剛剛做出的動作提供的反饋，也就是Reward。透過這樣的方法找出一個最好的Action，可以讓得到的Reward最多! (๑´ڡ`๑)

Markov Decision Process

Markov Decision Process（MDP），中文稱馬可夫決策過程，這邊要提到一下MDP，是因為在強化學習中要去估計下一個狀態Sn+1，得把S1~Sn的狀態全都考慮到，這樣會導致模型太大，因此這時候MDP的觀念就有用了。

MDP的一個重要觀念：未來只取決於當前

透過這個觀念，可以將剛剛的下一個狀態Sn+1假設只跟現在的狀態有關係。

今天到這啦~
大家明天見