iT邦幫忙

2023 iThome 鐵人賽

DAY 1
0
自我挑戰組

用AIR Flow 來建置ETL!! 系列 第 2

在Google Colab上建置Air flow

  • 分享至 

  • xImage
  •  

STEP1: 安裝 Apache Airflow 及其相依套件
https://ithelp.ithome.com.tw/upload/images/20230915/20163176nMOjA7Tfog.png
STEP2:建立Airflow資料庫結構
https://ithelp.ithome.com.tw/upload/images/20230915/20163176wDbLum5K7W.png
STEP3: !airflow scheduler -D 是用於以守護進程(daemon)模式啟動 Airflow 調度器的命令。調度器負責根據任務的計劃和依賴關係來觸發和執行任務。-D 參數表示以守護進程模式運行,該模式在背景運行,不會占用終端。這樣可以確保調度器在後台持續運行。!airflow webserver -D 是用於以守護進程模式啟動 Airflow Web 服務器的命令。Web 服務器提供了 Airflow 的 Web 界面,您可以通過網頁瀏覽器訪問和管理 Airflow。
https://ithelp.ithome.com.tw/upload/images/20230915/201631761sWrw0eAde.png
STEP4: 安裝 pyngrok 套件,然後使用 ngrok 建立一個隧道,將本地的 8080 端口映射到一個公共 URL 上。ngrok_tunnel.public_url 將打印出該公共 URL,您可以使用它來訪問 Airflow 的 Web 界面
https://ithelp.ithome.com.tw/upload/images/20230915/20163176gljx3aUhAf.png

這樣就完成了在colab上面建立Airflow ~


上一篇
Day 1. 什麼是 ETL ,為什麼要做ETL? 我為什麼選擇Air flow
系列文
用AIR Flow 來建置ETL!! 2
圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言