iT邦幫忙

2023 iThome 鐵人賽

DAY 26
0

Managed Workflows for Apache Airflow(MWAA) 設定

前面步驟在上一篇喔~

設定 Virtual private cloud (VPC)

https://ithelp.ithome.com.tw/upload/images/20231010/20135427DAwYPJBm4Q.png

  • 直接點擊create 新的 Virtual private cloud (VPC)
    https://ithelp.ithome.com.tw/upload/images/20231010/201354276TLeBBPPOh.png
  • 名稱預設 MWAAEnvironment
  • 直接點擊 create stack 就可以了
    https://ithelp.ithome.com.tw/upload/images/20231010/20135427o11tqZKLNJ.png
  • create 完之後就會跳到這頁,代表正在執行中
  • 接著這頁會持續create許多東西

https://ithelp.ithome.com.tw/upload/images/20231010/20135427OfITOcWzt5.png

  • create 完之後可以直接選vpc(不要選預設那個,要你剛剛 create 的),接著 subnet 的部分就會接著自動填入
  • 記得 Environment class 要選 m1w.small 最小那個(這個之後也可以依需求調整)
  • 其他都不用動就直接下一步

Review 設定

https://ithelp.ithome.com.tw/upload/images/20231010/20135427PWJGbXIOko.png

  • 最後 Review 一下,每一項設定都沒問題就可以直接 create 了

https://ithelp.ithome.com.tw/upload/images/20231010/20135427JlTOGoYH72.png

  • create 的時間至少 20 分鐘
  • create 完之後 Airflow UI 就可以直接開啟了

上傳 DAG

進入 s3 的 dags 資料夾 upload

  • 上傳幾天前練習的測試程式

不知道這隻程式在幹嘛,可以回到這天 [Day22] Airflow牙起來-Debug 和 Testing (1)

https://ithelp.ithome.com.tw/upload/images/20231010/20135427peXfPFy6c1.png

接著就和平常一下測試執行就沒問題了

結語

MWAA 的部分本來就是體驗一下,完全沒想到會這麼貴,三天就破千,只能默默的在把服務們關掉,默默再回到 EC2 的懷抱,明天會來說明用 EC2 要怎麼部署,但應該都和在 local 用 docker 差不多


上一篇
[Day25] Amazon AWS MWAA 無痛部署 Airflow (1)
下一篇
[Day27] Amazon AWS EC2 免費部署 Airflow (1)
系列文
Airflow 是什麼? 能吃嗎 ? 數據水管工的超級蘑菇30
圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言