iT邦幫忙

2024 iThome 鐵人賽

DAY 25
1

https://ithelp.ithome.com.tw/upload/images/20241009/20168816Lp9Fd8R9Q4.png

幾週前和一位朋友聚餐,聊到彼此的工作內容。他聽到我對於現職『打造資料平台』工作的描述後表示:「所以你做的東西不是特定應用就對了?」
https://ithelp.ithome.com.tw/upload/images/20241009/20168816RD5yM7ynbe.png
Source: https://memes.tw/image/1162

幾個星期過去了,我覺得好像不太對勁,不能就這樣算了。就用今天來澄清一下吧!資料也是可以打造成應用甚至產品化的。

對內|資料團隊模式釐清


對資料團隊 (Data Team) 而言,資料需求可以分為提供資料本身或提供資料洞察兩類。這兩類對應到資料即產品 (Data as a Product, DaaP) 和資料即服務 (Data as a Service, Daas) 兩種模式。

  • 資料即產品:資料團隊提供決策和應用所需的資料,像是一種產品。
  • 資料即服務:資料團隊針對特定問題提供洞察,偏向一種服務。

在 DaaP 的模式下,資料工程師提供的是穩定的資料流 (data pipeline),資料分析師提供的是符合分析需求的資料模型 (data model),資料科學家 (data scientist) 提供的是合適的機器學習 (machine learning) 預測模式。整體而言,提供給企業的是解決問題的工具,運用這些工具來制定決策的,稱作 stakeholders。

在 DaaS 的模式下,資料團隊和特定領域的 stakeholders 配合更緊密,資料團隊成員具備該領域知識 (domain knowledge) 對合作更有幫助。資料團隊提供給企業的不再只是工具,而是洞察 (insight) 甚至解法 (solution) 本身。

雖然有種說法認為,兩種模式差異主要在於專業技能 (data tech talent v.s. funtional talent) 面向的不同,但我認為更貼切的說法是企業發展階段主宰了模式差異。就如同 Day 24 談的資料需求金字塔,先從底部的資料可用性/新鮮度建構起足夠反映市場情況的 dashboard,進而追求資料品質,才有機會談到制定決策和探索新契機。

因此,不一定是企業自己決定要用哪一種模式運作資料團隊,而是企業所處發展階段會對資料團隊有不同的需求層次。

對外|資料產品定義釐清


參考 Xavier Gumara Rigol 在 Towards Data Science 的文章 中提及 DJ Patil 在他的著作 Data Jujitsu: The Art of Turning Data into Product (2012) 中定義資料產品為:「透過資料使用達成最終目標的產品」。
有點拗口,舉個例子來幫助消化這段定義。

例如 Netflix 的推薦系統,就是利用用戶的觀看紀錄、評分和搜尋行為資料來產生個性化的影片推薦。

  • 使用手段:使用觀看紀錄資料/影片評分資料/搜尋紀錄資料
  • 最終目標:達成個性化推薦,讓用戶可以在推薦清單中快速找到相關喜好,提升使用體驗。

所以推薦系統就是一種資料應用 (application),也是一種資料產品 (data product)。

總結|從應用到平台


我想我的朋友應該不在意 DaaP 和 DaaS 的差異,他想問的應該是,我們公司的資料團隊有沒有做資料應用/產品。
在此回應一下:有。我目前所在的資料團隊最初是專門負責 Shoplytics 數據分析中心 的產品團隊,透過此應用功能整合商品銷售、顧客消費、訂單分析、行銷優惠等資訊,能快速協助店家了解自己的商店表現,並進一步調整營運策略。
而後,因應全公司各種微服務團隊對跨服務資料的使用需求,開始兼任資料平台開發團隊。因應不同的專案需求,我們需要的技能從資料倉儲 (OLAP) 建構、基礎建設 (infrastructure) 打造、撰寫 API 提供資料串接,應用資料庫 (OLTP) 的設計通通都有。
從 ELT 流程做到應用程式開發,應該足稱資料產品化了!

參考資料


  1. Data as a Product vs. Data as a Service
  2. Deliver Your Data as a Product, But Not as an Application
  3. Data as a product vs data products. What are the differences?

上一篇
《資料與程式碼的交鋒》Day 24 - 資料需求金字塔
下一篇
《資料與程式碼的交鋒》Day 26 - 資料團隊組建模式
系列文
資料與程式碼的交鋒 - Data Engineer 與合作夥伴的協奏曲 30
圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言