iT邦幫忙

2023 iThome 鐵人賽

DAY 2
1

主題

Airflow 是一個強大且靈活的工作流程管理工具,它可以幫助我們有效地調度和監控數據流程。為了使用 Airflow,我們需要在我們的系統上進行安裝和啟動。本文將介紹在 Linux 環境下的正常安裝方式。

Linux 直接安裝

在 Linux 系統上,我們可以使用 package manager 來安裝 Airflow。首先,我們需要確保我們的系統已經安裝了 Python 和 pip。接下來,我們可以使用以下命令來安裝 Airflow:

pip install apache-airflow

安裝完成後,我們需要初始化 Airflow 的數據庫。我們可以使用以下命令來執行初始化:

airflow initdb

一旦數據庫初始化完成,我們可以使用以下命令來啟動 Airflow 的 web 服務器:

airflow standalone

這將在本地主機上啟動一個 web 服務器,我們可以在瀏覽器中訪問 http://localhost:8080 來訪問 Airflow 的 web 介面。

Linux + Python virtual environment (推薦)

上面的方法雖然簡單單純,但通常經常開發 Python 程式的人應該都會使用 venv 來隔開 python 環境,以免不同專案之間產生衝突。雖然每次啟動時都會多一道程序,但長遠來看是比較推薦的。但如果你是 WSL 的一次性環境,那就無所謂這點吧。

程序差不多,只是通常會建議開一個 .venv 資料夾來存放

mkdir ~/airflow/
cd ~/airflow
python -m venv .venv

通常直接安裝 Airflow 的話會在 ~/ 底下產生一個資料夾,可以改名字但會帶來一些麻煩,之後再提。因為習慣上會放在同一個專案內,所以我們先建好資料夾,並做好初始化

這時候下 ll 應該就會看到 .venv 資料夾了
https://ithelp.ithome.com.tw/upload/images/20230902/20161625hEUOFcUmz9.png

下一步就是啟動環境

source ~/airflow/.venv/bin/activate

https://ithelp.ithome.com.tw/upload/images/20230902/201616259CLJIoqotC.png

如果成功,就會看到 bash 前方會多一個 (.venv) 的提示,這樣就代表 python 環境已經切換完成了。以後安裝套件時實際上都會裝在這個資料夾內。

接下來就是如前面的步驟,從 pip install apache-airflow 開始做一次就完成了。

之後如果 (.venv) 消失,或是使用其他 IDE 如 PyCharm 等,就要記得重下 source ,確保 python 的執行環境是使用 .venv

確認

如果打開 http://localhost:8080 有看到這樣的畫面,那就代表成功啟動了!
https://ithelp.ithome.com.tw/upload/images/20230902/20161625COSmQCYVqI.png


上一篇
什麼是 ETL,為什麼要做 ETL - Day1
下一篇
Airflow DAG 是啥? - Day3
系列文
用 Airflow & Flink 來開發 ETL 吧30
圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言