Machine learning is now a product engineering discipline. — Josh Tobin
"機器學習現已成為產品工程學科"，Full stack deep learning 的導師之一 Josh Tobin 提出了這樣的想法，而這不只是他個人的見解，史丹佛大學 CS 329S: Machine Learning Systems Design 的講師 Chip Huyen 也有相同的看法，甚至 Elon musk 也同意這樣的觀點：
*圖片來源: Elon 的推特
事實上，從機器學習在產業應用的歷史脈絡就可以看出來這樣的說法是有跡可循的：
*圖片修改自 Josh Tobin - A Missing Link in the ML Infrastructure Stack
由上圖可以看到，早在 2000 年代產業界就已經開始導入機器學習，但其用途比較特定，也是大部分基礎課程會教導的部分，例如訓練一個回歸模型，然後從中得到啟發，並以此幫助決策。
隨後來到了所謂 ML 炒作時期，所有高階經理人都喊著 AI 是我們的首要策略 (但根本不知道自己在說什麼)，此階段大部分公司都是藉由行銷手段來達到獲利，而非模型真的對其事業產生實際的價值。
而到了最近這幾年，企業開始發現僱用一個 AI 團隊產出很酷的報告跟證明一些想法可行並不能算是策略的一種，甚至很多 AI 新創團隊都以低於當初預估市值的金額賣掉了，連 OpenAI 這種最受益於 ML 炒作時期的純研究團隊都 pivot 改為專注於商業產品，這代表我們已經來到一個必須更著重於如何讓 AI 落地的轉捩點。
*圖片來源: Uber把自駕車子公司ATG賣給Aurora、非營利組織OpenAI成立「有限獲利」公司OpenAI LP
然而，建立以機器學習為基礎的商業產品並不單純只是把模型丟進產品裡那麼簡單，它需要從根本進行改變，也就是說，我們熟悉的傳統機器學習專案流程已經無法滿足現在的需求了。
這是因為過去我們習慣的作法就像支持地平說的人相信地球表面存在一個終點一樣，我們相信交付模型 (產出報告) 以後一切就完結灑花了，所有的工作都在模型訓練完後就結束，而訓練的迴圈只是為了找出最能擬合資料的模型。
*圖片修改自 Josh Tobin - A Missing Link in the ML Infrastructure Stack
但實際上我們必須把整個流程再加上一個"外迴圈 (Outer loop)"，才能從地平說走向宇宙，讓整個世界回歸圓滿，因此必須將專案流程修改成下面的樣子：
*圖片修改自 Josh Tobin - A Missing Link in the ML Infrastructure Stack
其中測試可以確保模型在所有我們在乎的資料切片、所有我們在乎的 metrics 都有好表現之後再將模型部署進產品中，接著持續監控則確保模型不會表現下滑 (這在產品化階段很常發生)。
最後藉由監控觀察到的結果重新蒐集資料、重新標注後再開啟新的訓練迴圈，這個概念就是所謂的資料飛輪 (data flywheel)，它代表的意義是更好的模型會使產品更好，而產品更好則會吸引更多使用者，更多使用者代表更多的資料，更多資料則又會讓模型變得更好，如此生生不息的循環下去：
*圖片修改自 Full stack deep learning Lecture 5: ML Projects
達成 Data flywheel 是建造可維護並能隨時間改進的成功 ML 模型的關鍵。
在鐵人賽最後的 Project 中我會嘗試建立一個能實現資料飛輪的應用，但在那之前要先了解各部分的概念，而一切的基礎就從機器學習產品的生命週期開始，終於要進入正題啦，那我們明天見!
iThome鐵人賽
看影片追技術