技術 《資料與程式碼的交鋒》Day 04 - 資料管線 Data Pipeline

前兩天我們反覆地強調，在一個 OLTP 系統，高度符合正規化設計，且具備一定業務量的資料庫裡，要取得合用的分析資料，需要付出不少代價，包含業務受影響、查詢效能...

技術 『Day30』Data pipeline 優化以及結語

今天就是鐵人賽最後一天了，回想過去的一個月裡真的做了很多的事情，感謝鐵人賽能讓我的生活變得更豐富(爆炸？)以及充實。透過這次的鐵人賽也讓我有機會能夠整理關於 D...

技術 『Day20』Variable 與 Template

在前兩天陸續介紹了 Airflow 如何進行參數傳遞的主題，以及 XCom 的設計及使用方法。今天接續著參數的話題來談談 Airflow Variable 及...

技術 『Day12』Airflow DAG 介紹

今天也是在日本旅遊與鐵人競賽當中交錯，實在是十分有趣的經驗！今天看到日本許多有設計感的建築，覺得令人歎為觀止，我想除了設計的靈感之外，也需要強大的工程技術能力來...

技術 『Day11』Airflow 介紹

不瞞大家，這幾天其實我在日本旅遊當中，所以鐵人賽對我來說真的是很鍛鍊啊！每天有很多行程之外，結束後還是要抓緊時間寫文章，真的是極度瘋狂！但是這過程中卻也覺得十分...

技術 『Day10』 如何設計實作 Data pipeline

在前幾天的內容當中，我們陸續介紹了 Data pipeline、Data pipeline 的種類、資料處理，資料品質等主題，相信大家對於 Data pipel...

技術 『Day7』 Data pipeline 的種類

在建立Data pipeline 時我們常會碰到類似的場景。這邊帶大家了解一些常見的Data pipeline 類型，我們在開發Data pipeline 的時...

技術 『Day6』 Data pipeline 介紹

管線無所不在，雖然說日常生活中常常不會注意到其存在，但是卻對我們的生活影響非常大。舉例來說，在做裝潢時，就必須要把未來房屋的使用情景進行評估。並且需要針對屋主進...

技術 『Day 2』什麼是 Data Engineering

記得在學生時期，我因為對於學校的選課網站操作不太習慣，於是便自己寫了一個簡單的爬蟲程式，用來自動抓取課程資訊和教師評價。經整理後，我和朋友合作設計了一個使用者友...

技術 Data Pipeline 資料管線(vs. ETL/ETL Pipeline)

我發現最近幾年的比較已經變成 Data Pipeline vs. ETL Pipeline。 人外有人，天外有天 這個系列讓我有機會再次更新自己資料領域的知識庫...

技術 第二十七天 Jenkins 之旅： 我的 BI 報表 Pipeline (7)

前言 不知不覺鐵人賽好像快看到終點了 ...... 今天讓我們繼續處理 Data Pipeline 。 由於這次我們會將最終結果以 Google Data St...