幾週前和一位朋友聚餐,聊到彼此的工作內容。他聽到我對於現職『打造資料平台』工作的描述後表示:「所以你做的東西不是特定應用就對了?」
Source: https://memes.tw/image/1162
幾個星期過去了,我覺得好像不太對勁,不能就這樣算了。就用今天來澄清一下吧!資料也是可以打造成應用甚至產品化的。
對資料團隊 (Data Team) 而言,資料需求可以分為提供資料本身或提供資料洞察兩類。這兩類對應到資料即產品 (Data as a Product, DaaP) 和資料即服務 (Data as a Service, Daas) 兩種模式。
在 DaaP 的模式下,資料工程師提供的是穩定的資料流 (data pipeline),資料分析師提供的是符合分析需求的資料模型 (data model),資料科學家 (data scientist) 提供的是合適的機器學習 (machine learning) 預測模式。整體而言,提供給企業的是解決問題的工具,運用這些工具來制定決策的,稱作 stakeholders。
在 DaaS 的模式下,資料團隊和特定領域的 stakeholders 配合更緊密,資料團隊成員具備該領域知識 (domain knowledge) 對合作更有幫助。資料團隊提供給企業的不再只是工具,而是洞察 (insight) 甚至解法 (solution) 本身。
雖然有種說法認為,兩種模式差異主要在於專業技能 (data tech talent v.s. funtional talent) 面向的不同,但我認為更貼切的說法是企業發展階段主宰了模式差異。就如同 Day 24 談的資料需求金字塔,先從底部的資料可用性/新鮮度建構起足夠反映市場情況的 dashboard,進而追求資料品質,才有機會談到制定決策和探索新契機。
因此,不一定是企業自己決定要用哪一種模式運作資料團隊,而是企業所處發展階段會對資料團隊有不同的需求層次。
參考 Xavier Gumara Rigol 在 Towards Data Science 的文章 中提及 DJ Patil 在他的著作 Data Jujitsu: The Art of Turning Data into Product (2012) 中定義資料產品為:「透過資料使用達成最終目標的產品」。
有點拗口,舉個例子來幫助消化這段定義。
例如 Netflix 的推薦系統,就是利用用戶的觀看紀錄、評分和搜尋行為資料來產生個性化的影片推薦。
所以推薦系統就是一種資料應用 (application),也是一種資料產品 (data product)。
我想我的朋友應該不在意 DaaP 和 DaaS 的差異,他想問的應該是,我們公司的資料團隊有沒有做資料應用/產品。
在此回應一下:有。我目前所在的資料團隊最初是專門負責 Shoplytics 數據分析中心 的產品團隊,透過此應用功能整合商品銷售、顧客消費、訂單分析、行銷優惠等資訊,能快速協助店家了解自己的商店表現,並進一步調整營運策略。
而後,因應全公司各種微服務團隊對跨服務資料的使用需求,開始兼任資料平台開發團隊。因應不同的專案需求,我們需要的技能從資料倉儲 (OLAP) 建構、基礎建設 (infrastructure) 打造、撰寫 API 提供資料串接,應用資料庫 (OLTP) 的設計通通都有。
從 ELT 流程做到應用程式開發,應該足稱資料產品化了!