iT邦幫忙

0

Python & Airflow 學習筆記_環境架設

  • 分享至 

  • xImage
  •  

最近接觸到 Airflow 這個工具,順便紀錄一下學習的過程,如果有錯誤歡迎留言指正
本文僅限於學術用途,各項參考網址皆有附上連結,若有觸犯版權請留言告知

一、設備簡述

  1. O.S.:Windows 11 專業版
  2. IDE:Pycharm 專業版
  3. Docker version:v4.10.0
  4. 虛擬環境:venv (受限於 airflow 必須使用 pip 進行安裝)
  5. Python version:3.10

二、建立虛擬環境以及撰寫 docker-compose.yaml

  1. 利用 Pycharm 建立一個虛擬環境,並且建立一個空的 docker-compose.yaml
  2. 前往 這個網址 複製 docker-coompose.yaml 的內容,並全部貼到專案中的 docker-compose.yaml 檔案
  3. 個人習慣是開一個新環境的同時會建立一份 .gitignore 檔案,可以參考 這個網址

三、建立目錄及 .env 檔

  1. 依照官方文件,需要建立三個空的目錄,分別為 dags、logs 以及 plugins
  2. 建立一個 .env 檔,並添加 AIRFLOW_UID=50000 進入檔案中https://ithelp.ithome.com.tw/upload/images/20220808/20144024ulYnJVuY21.png
  3. 完成後的目錄結構圖
    https://ithelp.ithome.com.tw/upload/images/20220808/201440249YYXXWOhUP.png

四、運行 docker-compose 指令

到這邊開始運行 docker-compose 指令來建立環境

  1. 於 docker-compose.yaml 同層目錄下運行 docker-compose up airflow-init 進行初始化
  2. 運行 docker-compose up -d 啟動 airflow,-d 表示運行於背景
  3. 於瀏覽器輸入 http://127.0.0.1:8080,即可訪問 airflow 頁面
  4. 預設帳號密碼皆為 airflow

五、Airflow 成功登入畫面

https://ithelp.ithome.com.tw/upload/images/20220808/20144024a3nTibnKwX.png

六、和 Postgres 連線

使用官方文件提供的 docker-compose.yaml 進行安裝時,會自帶一個 postgres 資料庫環境,可以按照下面的步驟進行連線

  1. 點選 Admin 並點選 Connectionshttps://ithelp.ithome.com.tw/upload/images/20220808/20144024krsmzBwVf6.jpg
  2. 點選藍色加號https://ithelp.ithome.com.tw/upload/images/20220808/20144024IeNcsvknSU.jpg
  3. 按照下圖填入參數https://ithelp.ithome.com.tw/upload/images/20220810/201440243RB7ypb5N7.jpg
  4. 點選 Test 測試連線是否正常,若為正常,上方會出現綠色提示視窗
  5. 點選 Save 儲存連線資訊

七、參考網址

  1. Airflow 官方文件:https://airflow.apache.org/docs/apache-airflow/stable/start/docker.html

圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言