iT邦幫忙

2024 iThome 鐵人賽

DAY 1
3

https://ithelp.ithome.com.tw/upload/images/20240911/20168816E1daMCg1oE.png

這是近一年來的我第三次談資料工程師與其他夥伴的認知差異,我想這和我職涯的經驗有關:

  • 第一份工作的職稱是 Data Analyst,但隸屬於 Software Team,工作日常也與文字資料前處理極為相關,跟資料庫有關的知識都是一位經驗豐富的 DBA 教我的。
    這段旅程總結是-用軟體開發的思維,做資料分析的事。
  • 第二份工作的職稱是 Data Scientist,為了訓練預測模型,資料來源包含從第三方網站爬取、產品本身交易資料及 CRM 系統等。同時需要建立指標體系,讓全公司的各部門均能對齊目標努力。要滿足模型及分析需求的可重現性,我才開始意識到資料倉儲對資料運用的重要性。
    這段旅程總結是-在 AI 與 BI 以前,得先有 Data Engineering 的孕育。
  • 現在的我在電商平台 SHOPLINE 擔任 Data Engineer,我所屬的團隊原先只是一個資料分析產品 (Shoplytics) 開發者,除了維護資料倉儲以外,也需要肩負後端的任務,開發 API 讓前端工程師能夠將資料刻劃成給店家使用的後台報表系統。隨著從各種微服務收集而來的資料量及資料複雜度的提升,我們團隊也開始提供全公司所需要各項資料整合服務,目標則從產品開發升級成資料平台打造。
    截至目前為止的故事,可以歸納為-從資料分析起家,用 Backend Engineer 和 Data Engineer 的職能, Architect 的思維,打造可服務全公司的高效能資料平台。

Yes
影片/2024/04/24 我在 dbt 台北社群開箱 SHOPLINE Data Team 的故事。


從這五年多的經驗中,大概盤點出以下職能與職務間的關聯
- Data Analyst、Data Engineer、Backend Engineer
https://ithelp.ithome.com.tw/upload/images/20240911/20168816bHmbz1WRD6.png
圖/Data Analyst, Data Engineer 與 Back Engineer 的職能文氏圖。簡書廷製。

這些角色合作時或多或少有些共同語言可以溝通,距離看似不遠。但從資料庫設計軟體工程基礎建設資料運用這四個面向切入,才發現不同職能角色的知識落差沒有想像的這麼近。
這系列的主題副標就訂為『Data Engineer 與合作夥伴如何譜出協奏曲』,期望透過本系列文章的說明,讓不同領域的人都對 Data 有更全面的理解,進而克服跨職能合作間可能會有的挑戰。

歡迎您來到我的小天地和我一起探索這些生命片段!


下一篇
《資料與程式碼的交鋒》Day 02 -資料庫正規化與反正規化
系列文
資料與程式碼的交鋒 - Data Engineer 與合作夥伴的協奏曲 30
圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言