Airflow 是一個強大且靈活的工作流程管理工具,它可以幫助我們有效地調度和監控數據流程。為了使用 Airflow,我們需要在我們的系統上進行安裝和啟動。本文將介紹在 Linux 環境下的正常安裝方式。
在 Linux 系統上,我們可以使用 package manager 來安裝 Airflow。首先,我們需要確保我們的系統已經安裝了 Python 和 pip。接下來,我們可以使用以下命令來安裝 Airflow:
pip install apache-airflow
安裝完成後,我們需要初始化 Airflow 的數據庫。我們可以使用以下命令來執行初始化:
airflow initdb
一旦數據庫初始化完成,我們可以使用以下命令來啟動 Airflow 的 web 服務器:
airflow standalone
這將在本地主機上啟動一個 web 服務器,我們可以在瀏覽器中訪問 http://localhost:8080 來訪問 Airflow 的 web 介面。
上面的方法雖然簡單單純,但通常經常開發 Python 程式的人應該都會使用 venv 來隔開 python 環境,以免不同專案之間產生衝突。雖然每次啟動時都會多一道程序,但長遠來看是比較推薦的。但如果你是 WSL 的一次性環境,那就無所謂這點吧。
程序差不多,只是通常會建議開一個 .venv
資料夾來存放
mkdir ~/airflow/
cd ~/airflow
python -m venv .venv
通常直接安裝 Airflow 的話會在 ~/ 底下產生一個資料夾,可以改名字但會帶來一些麻煩,之後再提。因為習慣上會放在同一個專案內,所以我們先建好資料夾,並做好初始化
這時候下 ll
應該就會看到 .venv
資料夾了
下一步就是啟動環境
source ~/airflow/.venv/bin/activate
如果成功,就會看到 bash 前方會多一個 (.venv)
的提示,這樣就代表 python 環境已經切換完成了。以後安裝套件時實際上都會裝在這個資料夾內。
接下來就是如前面的步驟,從 pip install apache-airflow
開始做一次就完成了。
之後如果 (.venv)
消失,或是使用其他 IDE 如 PyCharm 等,就要記得重下 source
,確保 python 的執行環境是使用 .venv
如果打開 http://localhost:8080 有看到這樣的畫面,那就代表成功啟動了!