鐵人檔案
這個題目會從我擔任 Data Engineer 的經驗出發，從過去與各種合作夥伴 (Backend Engineer, Data Analyst, Data Scientist 等) 協作過程中的挑戰出發，並從資料庫設計、軟體工程、基礎建設及資料運用等面向切入，說明不同職能間可能會有的知識落差。
期望透過本系列文章的說明，讓不同領域的人都對 Data 有更全面的理解，進而克服跨職能合作間可能會有的挑戰。
這是近一年來的我第三次談資料工程師與其他夥伴的認知差異，我想這和我職涯的經驗有關： 第一份工作的職稱是 Data Analyst，但隸屬於 Software...
資料庫 (Database) 對資料工程師 (DE)、資料分析師 (DA)、後端工程師 (BE) 而言，算是共同的資訊承載體，無論資料如何在資料管線 (data...
昨天我們用了網購服務的新創團隊，來解釋資料庫正規化後可能遇到的資料運用瓶頸。橫空出世的資料工程師透過另建一個資料庫整合來自各服務的資料，記載歷來變化並提供決策...
前兩天我們反覆地強調，在一個 OLTP 系統，高度符合正規化設計，且具備一定業務量的資料庫裡，要取得合用的分析資料，需要付出不少代價，包含業務受影響、查詢效能...
故事回到 Day 02 講的新創團隊弄的網購服務吧。本來只有兩個工程師在開發功能，沒想到這個平台有口皆碑，用戶一傳十十傳百，現在用戶已達千萬等級。為了落實『一...
經過 Day 05 的討論，我們已經瞭解資料倉儲、資料湖及資料湖倉的差異了，今天我們進一步來談談資料倉儲的內部架構。Day 04 提到資料收集步驟是針對內部資料...
連載要滿一星期了，又回到 Day 03 的職棒官網故事。如果是 20 年看球背景的老球迷，應該會發現 "Lamigo" 穿越時空進到 200...
過去幾天我們一再強調捕捉時間維度的變化是資料倉儲重要的能力，但在 Day 07『穿越到 2007 年戰績表的 Lamigo』事件裡，我們也見證了時間維度是資料倉...
在這次 30 天挑戰的第一階段－資料庫設計篇，我們從資料本身出發，關注資料收集管道、儲存架構設計、資料擺放層次及取用的成本等。實踐這些資料庫設計的準則就是資料工...
連續寫了好多天的文章，好想放個假出去旅行。開始上網查訂房資訊，查完幾個選項之後貼給同行朋友加權評估一下，最後存進試算表裡就完成！這總沒有資料工程或是程式的戲了...
