鐵人檔案
資料工程師，也叫做數據水管工，主要就是要想辦法串接老闆、PM、分析師、科學家要的資料，因為過去常常用 crontab 到發瘋，所以想認真研究 Airflow ，希望學習過程中能透過鐵人賽督促自己。
TaskGroup 簡介 TaskGroup 是一種在 Airflow 中用來組織和管理多個 Task 的方法，透過將任務分類成不同群組，讓我們 DAG 當中的...
前言 2020 年 12 月發布的 Apache Airflow 2.0，其中很重要的新功能就是 Taskflow API，可以讓我們更簡潔的撰寫 Airflo...
有鑒於昨天的實作部分，有朋友反應好像講不清楚，一下子就給 code，今天還是再針對每一個 part 來詳細說明～ 一、術式順轉·蒼 - 整體邏輯架構 通常在寫大...
前言 之前很多鐵人賽都有談過 docker ，想要很完整系統性的學 docker，都可以參考下方連結：1. 30 天與鯨魚先生做好朋友2. 那些關於 dock...
安裝 Docker Docker Desktop 下載 https://www.docker.com/products/docker-desktop/ Doc...
什麼是 Docker Compose Compose 是組合或組成的意思，Docker Compose 就是代表組合多個 Docker 容器，可以直接用 YAM...
前言 連接到 Database ，應該是 Airflow 當中一定會用到的功能，畢竟我們的資料進出都需要操作資料庫，在 dag 當中是用到之前提過的MySqlO...
安安～在嗎～各位大大～什麼！這種梗透露年齡了嗎～該不會大家都千禧年之後出生的吧～趕快開始今天的內容吧～ Before Install Library 建立測試...
Before 爬坑 Today Practice 今天繼續使用昨天的安裝模組的 code，簡單好用～ import requests from datetime...
Airflow 時間變數的地雷區 Before 地雷 start_date ⮕ DAG 開始的日期，必要參數 end_date ⮕ DAG 停止的日期，不必要...
