鐵人檔案
如今在 Data 及 AI 快速的發展，各種演算法及服務不斷推陳出新，Data pipeline 在資料服務中是一個不可或缺的重要要素。這系列文章主要分享data pipeline的相關實踐，包含資料的架構，Airflow 的實作，以及開發測試部署的流程。希望幫助讀者們能夠掌握data pipeline 的相關知識架構，並能更全面地進行Data pipeline 的開發！
到目前為止我們了解，DAG 如何建立，如何設定關聯關係，如何傳遞變數。而在Data pipeline 當中還有很重要的一個部分是與外部系統溝通。 Airflow...
在對於外部的連結之後，我們再細部介紹一下 Operator 的使用，其實在 Operator 層級也可以有不同的使用方法。Operator 本身有多種種類，其作...
還記得我們第一次寫的 first_dag 嗎？當時只是基本的寫了一個 DAG 的雛形，在經過這幾天更了解 DAG 各個元件之後，大家是不是覺得躍躍欲試呢，相信大...
昨天我們建立了天氣資訊 DAG 的基本架構和流程。今天我們來繼續實作細部的 Task 工作。首先我們從 Extract Function 進行實作。 實作 Ex...
在前兩天中，我們開發了天氣資訊的 DAG，我們知道在軟體工程的實踐中，開發只是一個部分，開發完成之後，後續的維運、監控以及持續的修正也是非常的重要。Airflo...
上一篇跟大家分享了 Airflow 功能強大的各種 View。而這篇要來跟大家分享警報的實作方法。不同於 View 是開發者以及維運人員需要主動進行查看，警報則...
在我們開發 weather_dag 之後，我們介紹了如何透過 View 以及警報來監控 DAG 執行的狀況。在開發之後其實還有一件非常重要的事，那就是測試，對於...
在我們開發完成 DAG 之後，通常並非一次性就結束了，隨著時間過去，需求有持續不斷的改變，而我們的程式也必須持續的修改以及優化。有一個良好的開發流程以及 CI/...
不知不覺已經來到鐵人賽最後兩天了，加油！在讀本篇文章的讀者們，非常感謝你們一路的支持！在本系列的初期，我們有介紹到 Airflow 的設計概念，其中一個很重要的...
今天就是鐵人賽最後一天了，回想過去的一個月裡真的做了很多的事情，感謝鐵人賽能讓我的生活變得更豐富(爆炸？)以及充實。透過這次的鐵人賽也讓我有機會能夠整理關於 D...
