鐵人檔案
資料工程師，也叫做數據水管工，主要就是要想辦法串接老闆、PM、分析師、科學家要的資料，因為過去常常用 crontab 到發瘋，所以想認真研究 Airflow ，希望學習過程中能透過鐵人賽督促自己。
Who am I 打給厚~ 哇係 Shawn，目前是一名資料工程師，也可以叫做數據水管工，工作內容就是串接各種 API 和資料庫，然後想辦法當一名稱職的水管工，...
從前從前 2015 年，Airbnb 發展迅速，數據量大幅提升，每天必須管理數個資料流來完成自動化，數據管控遇到困難，當時身為 Airbnb 的資料工程師 Ma...
前言 本來想說今天再講一下 Airflow 的運作邏輯和概念，突然想起以前我最討厭的老師類型就是整學期都在講概念，最後兩堂隨便實作就結束，然後浪費我一學期，很多...
Step1: 安裝Ubuntu環境 如果透過 VirtualBox VM 就會一點都不快樂了，所以只要安裝 Ubuntu 的終端機(terminal) 1....
Workflow before Airflow 討論 Airflow 前，先問問大家有聽過 Workflow 嗎？可以翻作工作流，在資料領域，也可以稱作 Dat...
Airflow 的基礎名詞 Hooks：鉤子/ 接口 Hooks 可以和第三方系統互動，第三方系統是什麼？就是非官方和運營方開發的系統，例如我們要把 Airfl...
又回到最初的 Day3 還記得我們開啟了 http://localhost:8080/ 了嗎？忘記了沒關係，從頭再來一次～ 還沒安裝的，可以回到 Day3:快...
小小前言 突然收到私訊說安裝不起來，才發現前面有一些東西沒講清楚，還是建議大家直接 create 在 ~/airflow，然後虛擬環境也放在裡面，day3 的安...
今天目標 最簡單的 BashOperator 已經使用過了，今天就要使用 PythonOperator 製作多個 Tasks，學習資料間諜 Xcoms 是怎麼在...
Airflow 的變數是如何儲存的？ Airflow 的變數是使用 Key-Value 的方式儲存，我們可以打開任何一種資料庫工具，例如：DBeaver、Tab...
