iT邦幫忙

2021 iThome 鐵人賽

DAY 3
0
AI & Data

談MLOps - 模型、專案架構、產品化及維運系列 第 3

寫給MLOps人才培育苦手 | MLOps落地指南 - 團隊篇

當理解MLOps的定義、以及ML專案與軟體專案的差別之後,接下來我想談談如何再把MLOps往下切分成幾個面向,讓公司的決策人員能夠從大方向往下切分細節,開始落地與執行。

根據MLOps包含的範疇,切分成三階段規劃、執行、修正,並以團隊、技術、流程三個面向來討論規劃方向。

規劃

當公司才剛開始談到ML專案、MLOps規劃的時候,可能因為幾個其他公司的成功故事而感到興奮,想跟著執行。管理者、領導者(公司層級的、職能部門或部門的)則必須在這個階段定義:(1)改進目標:使用 ML 改進客戶服務有哪些,客戶現有的痛點在哪、我們預期客戶改變的行為可以怎麼測量(2)預期效益:假設是降低成本或自動執行任務的任務,原先的執行成本為何。(3)影響範圍:這些效益在公司內部流程、外部使用者旅程造成的更動、影響範圍有哪些,以及最早期的試驗點以及試驗使用者有哪些。

將(1)改進目標(2)預期效益(3)影響範圍列出之後,就也能夠知道在這個專案上面可以接受的每年、每月花費預期落在什麼範圍。

期待溝通

根據史丹佛的cs329s課程資料指出“公司在執行ML專案的前6大迷思,其中一個就包含:機器學習(ML)會對你的公司展開一夜成功的神奇魔法。

ML專案的投資回報,取決於導入的成熟階段、模型在市場中運行的狀況越成熟、開發迭代週期越快等等。其中使用產品階段模型超過五年以上的公司當中,幾乎75%的公司可以在30天內部署模型。在剛開始使用機器學習管道的企業中,有60%的企業需要30天以上的時間來部署模型。

公司在規劃上,除了和執行者溝通預期所要達到的成效。同時也必須了解,自家公司的資料收集狀況,是否足夠反應各個階段的使用者途徑?儲存的資料品質,資料是否完整、儲存邏輯是否一致、是否有根據最新的商業邏輯紀錄資料等等。

關於專案的承諾、預期與期許,可結合Agile的規劃mindset去思考最小可行性以及往後的迭代規劃。讓專案可以及早開始,及早暴露風險以及調整方向。

團隊:

在團隊的經營上則可以分為:(1)雇用(2)教育訓練(3)跨部門合作三部分。

  1. 雇用:許多公司在一開始執行ML專案的時候,針對ML團隊的雇用也跟公司本身的產業、既有IT團隊有關。舉例來說,假設公司的所有系統都屬於跟外部合作,購買外部的解決方案或產品,這樣的話公司則不見得會雇用ML相關人員。取而代之的是與提供技術服務的公司合作,向他們購買一整個解決方案,這樣需要花費的成本,就僅限於溝通時間以及購買產品上。
    另一種狀況則是雇用in house(公司內)的ML團隊。自家有ML團隊的好處是(1)溝通成本較低:ML團隊是一直跟在公司內部,對於公司的商業邏輯以及領域知識是相對熟悉的,在溝通需求上也比較能夠相互理解為什麼要設定這樣的專案目標跟專案評估指標。(2)系統整合度較高:如果公司內部有自己開發的軟體系統,其基礎架設的Log和Monitor也可以比較容易跟ML專案的整合,在專案或公司營運的高度來看,可以有一致的報表格式和資料輸出規劃。

  2. 教育訓練:許多公司在規劃要做ML和實際在做ML的過程當中,有時候會有一些空窗期,例如等待資料量足夠、等待資料儲存平台架設好、等待公司的各種合規審核通過等等。這些時間還是能夠集結公司的ML專案相關人員,進行相關的教育訓練,從資料收集、資料安全與隱私、機器學習模型可解釋性以及模型資料偏見、系統維運、學習ML模型指標與商業指標如何互通等等方向去學習。讓未來專案真正開始運行的時候,團隊可以有更好的知識基礎,相互學習以及調整專案方向。

  3. 跨部門合作:ML專案的執行,不只是一項獨立的技術,相反的是ML專案多是跨領域的。一般來說需要與幾個部門一起溝通協調,需要多種觀點才能讓這個專案更完善、提供價值。ML模型團隊、系統維運團隊(devops)、管理團隊、該ML功能合作的產品負責人等等,不同面向以及層級的人都會需要進來溝通。在ML導入的早期,通常公司垂直面向層級的同事也會因為是重點專案,所以會在溝通的環節裡面。而ML產品的產出,則是需要橫向團隊一起溝通,去思考(1)訓練資料怎麼進來(2)模型怎麼評估及改進(3)模型結果是否有與商業期待一致(4)使用者如何能夠無痛適用有ML功能的產品(5)如何收集使用者體驗的反饋資料(6)系統如何支援可擴張性以及系統穩定度(7)資料安全與隱私是否符合該市場法規(8)專案的支出與受益相比是否符合比例(9)該專案的設置如何在技術與商業上,用最短的時間複製到其他專案。等等。

結語:

今天我們討論到:在ML導入前期相關的溝通內容,以及在團隊的建置上有哪些考量點,以及跨部門之間的溝通需要互相對齊(align)哪些東西。明天我們繼續討論,MLOps落地時,在技術上面需關注哪些部分。


上一篇
3面向談ML產品與軟體產品的相異處
下一篇
為什麼87% 的資料科學專案沒辦法產品化? | MLOps落地指南 - 技術篇
系列文
談MLOps - 模型、專案架構、產品化及維運29

尚未有邦友留言

立即登入留言