技術 Airflow TaskFlow 改寫 DAG - Day10

今天這段其實不是開發 Airflow 必要的部份，甚至會多增加一點麻煩。但我個人還是比較喜歡這種寫法，所以來寫一些。 前面有提到 PythonOperator...

技術 Airflow 自訂 Operator - Day9

儘管Airflow提供了許多內置的運算符（Operators），但有時候我們需要根據特定需求開發自己的自定義運算符。這篇文章將介紹如何在Airflow中開發自定...

技術 Airflow Connection 設定跟使用 - Day8

ETL 大概有八成的時間，都是在跟各種儲存系統互動。不管是常見的資料庫、BigQuery，或是 Redis, Hadoop，這些本質上都是儲存系統，差別只是連接...

技術 Airflow Variable 設定 - Day7

接下來，說說 Variable 的一些用法，先從簡單的開始 Web UI 在 web 介面裡有一個地方可以設定，如圖所示 Admin → Variables...

技術 Airflow PythonOperator(二) - Day6

Airflow PythonOperator(二) Param 今天延續上週說的 PythonOperator 的一些使用方法，除了 Variable 之外，A...

技術 Airflow PythonOperator (一) - Day5

在上一篇文章裡有提到 PythonOperator 可能是 Airflow 裡最重要的 operator 之一，那當然要花點時間來說明一下使用方法，不過其實很簡...

技術 來寫第一個 DAG 吧 - Day4

Airflow 來寫第一個 DAG 吧 第一個例子 現在，我們來看一個簡單但真實的Airflow DAG 例子，並介紹其中一些常見的運算符（task）。 fro...

技術 Airflow DAG 是啥？ - Day3

Airflow DAG 是啥？ DAG 定義 Airflow 的核心之一，一定是 DAG (Directed Acyclic Graph，有向無環圖)。如果說其...

技術 Airflow 的安裝及啟動 - Day2

主題 Airflow 是一個強大且靈活的工作流程管理工具，它可以幫助我們有效地調度和監控數據流程。為了使用 Airflow，我們需要在我們的系統上進行安裝和啟動...

技術 什麼是 ETL，為什麼要做 ETL - Day1

身為一名數據工程師，每天寫 code 做的事情簡單來說，都是 ETL。 Extract、Transform、Load（ETL）是一個常用於資料庫管理和商業智能領...

技術 Python & Airflow 學習筆記_Operator 間的參數傳遞 XCom

本文主要在教學如何在 Airflow 當中傳遞參數，Airflow 當中提供了 XCom 來進行參數傳遞，而根據官方文檔提示，在撰寫任務流程時，要盡量保持任務的...

技術 Python & Airflow 學習筆記_SQLAlchemyOperator

在 Airflow 當中有提供 PostgresOperator 這個東西，他可以直接對資料庫進行 SQL 指令的執行，不過對於已經用習慣 ORM 方式操作資料...

技術 Python & Airflow 學習筆記_Schedule 以及 Trigger Rule

這篇文章主要是在討論在 Schedule 的設定以及 Trigger Rule，如果有問題歡迎留言討論 一、任務排程 Schedule_Interval 在 a...

技術 Python & Airflow 學習筆記_PythonOperator 和 BranchPythonOperator

這篇文章主要是在教學如何在 ariflow 中建立一個可以執行 python function 的 operator，同時也會介紹如何使用 BranchPyth...

技術 Python & Airflow 學習筆記_建立簡易 Dag

這邊記錄了該如何建立一個簡易的 Dag，如果有錯誤或更好的寫法，歡迎留言討論 一、Dag 定義 就筆者從官方文件的理解，每個 Dag 可以代表是一個要執行的任務...

技術 Python & Airflow 學習筆記_環境架設

最近接觸到 Airflow 這個工具，順便紀錄一下學習的過程，如果有錯誤歡迎留言指正本文僅限於學術用途，各項參考網址皆有附上連結，若有觸犯版權請留言告知 一、設...

技術 Day29 NiFi 與其他工具的比較

這邊我想特別寫出這一篇的原因是當初我在學習與操作 NiFi 的過程中，我曾感到一些疑惑，會覺得感覺有些場景流程可以用像是 Apache Airflow 等工具...