技術 《資料與程式碼的交鋒》Day 30 - 未完的挑戰

30 天的挑戰來到了尾聲，回想這次系列文的副標題『Data Engineer 與合作夥伴如何譜出協奏曲』，心裡冒出兩個疑問： 資料工程師的職務為什麼突然從企...

技術 《資料與程式碼的交鋒》Day 13 -可重現性

『如果可以，我想和你回到那天相遇』(韋禮安，2021) 「與當時查出來的資料面貌再次相遇」在資料的世界，可能嗎？這和軟體工程，又有什麼牽連？ 為什麼需要重...

技術 《資料與程式碼的交鋒》Day 12-任務相依性設計

『如果工作流程很複雜，任務的相依性很高，Airflow 還是能實現嗎？』 圖／一個 DAG 完成 RFM 分析。簡書廷製。 我們以 Day 06 提到的...

技術 《資料與程式碼的交鋒》Day 11 -工作流程編排工具 Airflow

延續昨天的話題，我想要每天午夜完成一次從 Google Maps API 取得資料 ⮕ 計算各地點的評分 ⮕ 將結果寫入 CSV 這樣的動作，可以透過 Cro...

技術 《資料與程式碼的交鋒》Day 10-程式碼模組化

連續寫了好多天的文章，好想放個假出去旅行。開始上網查訂房資訊，查完幾個選項之後貼給同行朋友加權評估一下，最後存進試算表裡就完成！這總沒有資料工程或是程式的戲了...

技術 《資料與程式碼的交鋒》Day 09-資料庫設計篇總回顧

在這次 30 天挑戰的第一階段－資料庫設計篇，我們從資料本身出發，關注資料收集管道、儲存架構設計、資料擺放層次及取用的成本等。實踐這些資料庫設計的準則就是資料工...

技術 《資料與程式碼的交鋒》Day 07-星狀模型 v.s. 雪花模型

連載要滿一星期了，又回到 Day 03 的職棒官網故事。如果是 20 年看球背景的老球迷，應該會發現 "Lamigo" 穿越時空進到 200...

技術 《資料與程式碼的交鋒》Day 05 - 資料倉儲/湖/湖倉

故事回到 Day 02 講的新創團隊弄的網購服務吧。本來只有兩個工程師在開發功能，沒想到這個平台有口皆碑，用戶一傳十十傳百，現在用戶已達千萬等級。為了落實『一...

技術 《資料與程式碼的交鋒》Day 04 - 資料管線 Data Pipeline

前兩天我們反覆地強調，在一個 OLTP 系統，高度符合正規化設計，且具備一定業務量的資料庫裡，要取得合用的分析資料，需要付出不少代價，包含業務受影響、查詢效能...

技術 《資料與程式碼的交鋒》Day 03 - OLTP v.s. OLAP 的差異

昨天我們用了網購服務的新創團隊，來解釋資料庫正規化後可能遇到的資料運用瓶頸。橫空出世的資料工程師透過另建一個資料庫整合來自各服務的資料，記載歷來變化並提供決策...

技術 《資料與程式碼的交鋒》Day 01 - 前言

這是近一年來的我第三次談資料工程師與其他夥伴的認知差異，我想這和我職涯的經驗有關： 第一份工作的職稱是 Data Analyst，但隸屬於 Software...

技術 30 個資料領域詞彙一覽與前言

簡單說，這 30 個詞彙是衡量家裡有沒有礦的方式之一。 所有的組織與個人都有資料，就像整個地球的地底下都有礦物，但是有經濟價值可開採的礦藏需要符合一定的標準。通...