前言

昨天開始coursera的課程就到期了，所以就沒辦法繼續截圖，從網路上抓又怕有版權問題。

主題

這個章節其實有點類似番外篇講的內容，主要會從最佳化的角度切入。

Defining ML Models

事實上大部分的Machine Learning Models都是在解決最佳化的問題，因此，如何設計出一道"好的"最佳化問題就會是精髓所在。這邊好的可以指許多方面，模型容易訓練、複雜度低、模型表現好等等，都會因為最佳化問題的設計而有所影響。
那麼要怎麼設計這道最佳化問題呢?其實前面有講過，利用Representation選擇模型，搭配上適合的Evaluation函數結合成問題。在這邊Evaluation函數通常又稱loss function或者cost function，與資料集和選定的模型結合後，得到要被最佳化的函數稱作目標函數(Objective function)，問題通常就是要找出一組參數，使得目標函數的數值會最大\最小。
更深入的去思考，為什麼要這樣設計問題呢?或者我們選定的Representation扮演著什麼樣的角色?
先考慮比較簡單的監督式學習，我們針對問題其實是有些假設的:

1. 資料是由一種未知但固定的分配(distribution)產生
2. 存在某種映射(mapping)，將特徵(feature)對應到目標(target\label)
   監督式機器學習的目標，就是去近似這個映射，用什麼方式近似就是Representation的意義，近似的好壞就是Evaluation的功能，Optimization就是促成不斷學習的能量，最後得出最佳的近似來模仿真實的映射。