鐵人檔案
這個題目會從我擔任 Data Engineer 的經驗出發，從過去與各種合作夥伴 (Backend Engineer, Data Analyst, Data Scientist 等) 協作過程中的挑戰出發，並從資料庫設計、軟體工程、基礎建設及資料運用等面向切入，說明不同職能間可能會有的知識落差。
期望透過本系列文章的說明，讓不同領域的人都對 Data 有更全面的理解，進而克服跨職能合作間可能會有的挑戰。
Day 20 我們說明了分散式運算引擎對即時進行資料應用的優勢之處。以 RFM 分析而言，我們把資料源的變化捕捉到 Kafka 之後，就可以接上 Flink 作...
如果沒有接觸過衍生資料系統的團隊成員，可能比較難理解 Day 21 我們談到資料流上下游的耦合性。我們就用下方這張圖一探究竟。 圖／資料工程師在整個資料流的運...
30 天挑戰已經完成四分之三，是否感受到水越來越深了呢？在第三階段裡，我們更深入地討論了許多資料處理的技術。這些技術都是構建高效率且具備擴展性的衍生資料系統必須...
前面二十幾天談了很多資料體系的建構，最後一個階段讓我們來聊聊資料的運用吧！還記得國中公民課談的馬斯洛需求層次理論 (Maslow's hierarchy of...
幾週前和一位朋友聚餐，聊到彼此的工作內容。他聽到我對於現職『打造資料平台』工作的描述後表示：「所以你做的東西不是特定應用就對了？」Source: https:...
不曉得大家有沒有遇過一種情況：下游 Dashboard 的指標出現錯誤。從 Dashboard 的業務同仁反映起，依序經過 BI Team 對商業邏輯的確認，再...
30 天挑戰進到倒數第四天了，前面我們談的資料技術也不在少數，不過這僅僅是冰山一角而已。資料工具不斷推陳出新，我認為和商業模式的多元化、複雜化很有關係。不過，最...
記得 Day 12 我們談論任務相依性時，介紹了 Airflow 的感應器和觸發器。只不過在任務編排的視角上，我們是以 DAG、task 的層級在討論其關聯。但...
30 天挑戰的最後一星期，我們走過了這次系列文的最後階段 - 資料運用篇。這階段我們談的不是資料技術、基礎建設或系統設計面向，而是資料需求、資料使用、資料管理以...
30 天的挑戰來到了尾聲，回想這次系列文的副標題『Data Engineer 與合作夥伴如何譜出協奏曲』，心裡冒出兩個疑問： 資料工程師的職務為什麼突然從企...
