iT邦幫忙

2025 iThome 鐵人賽

DAY 21
0

在資料專案中,資料工程師常被誤以為只要寫管線把資料做處理即可,但實際上,真正的挑戰在於理解資料背後的語言——如何從業務需求的語境中,轉譯出能被程式正確理解的邏輯。當工程師能夠讓「客戶的話」順利變成「系統聽得懂的語言」,整條資料管線才有辦法真正流暢地運作。

我曾在一個專案中深刻體會到這件事。當時客戶在其既有系統裡已有一套固定的業務邏輯架構;但對資料工程師而言,我們必須先理解、再拆解、最後重組這些邏輯,讓它們能被轉換成模型訓練可用的資料格式。

而在轉譯的過程中,最常發生的狀況是「邏輯需要修改」。然而,這樣的改動往往不像業務端想像得那麼單純。工程師必須清楚說明:這次修改會牽動哪些表格?會影響哪些流程?需要多少測試與回滾時間?這種跨語言、跨視角的溝通,是資料專案裡最耗腦但也最關鍵的一環。

以某銀行的交易系統為例,他們採用「子母帳號」的設計——一個母帳號底下可能有多個子帳號,並分屬不同系統。模型需求要求以母帳號作為交易主鍵,但實際交易資料卻分散在子帳號中。為了讓模型能順利使用,我們必須在管線中整併多張表,並以一次性處理全表的方式撰寫程式。這使得邏輯極其複雜,也意味著任何看似小幅的修改,都可能引發連鎖效應。

因此,資料工程師不僅要能「寫程式」,更要能「說人話」——讓客戶理解為什麼需要比他們預期還要久的時間做調整、為什麼必須進行測試與驗證,甚至幫助他們看見潛在的風險與成本。


上一篇
[ Day 20 ] 資料專案管理:如何達成開會效益極大化
系列文
資料專案修羅場,30天手把手教你暗黑求生術!!!21
圖片
  熱門推薦
圖片
{{ item.channelVendor }} | {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言