iT邦幫忙

2023 iThome 鐵人賽

DAY 25
0

前言

雖然說標題是說無痛部署,但是錢包會很痛,因為 AWS 的 Free Tier (一年免費方案) 並沒有包含這個服務,所以不要像我一樣傻傻的就直接開了😿 兩三天就噴了快 1000 元了~真的有確定要再開喔🥲

像是註冊 AWS 的部分就不細講了,應該不會很難~
記得地區選 US East(N. Virginia) 就是 us-east-1 地區,是大多數人統計最便宜的,或是Oregon也可以

Managed Workflows for Apache Airflow(MWAA) 設定

S3 bucket Before MWAA Setting

step1: create S3 bucket

在開始之前,要先創建 S3 bucket 來儲存 DAGs 、設定和logs,就跟著一步一步先把 S3 建出來吧~
直接到 s3 主頁:https://s3.console.aws.amazon.com/s3/get-started?region=us-east-1

https://ithelp.ithome.com.tw/upload/images/20231010/201354277hnRdYZpxg.png

  • 只需要設定名稱,我這邊是設定 airflow-bucket-shawn,必須和我的不一樣,因為這是唯一的,必須所有人都不一樣
  • 不能有大寫、不能有底線_、結尾不能放連字號-

https://ithelp.ithome.com.tw/upload/images/20231010/20135427GGLR9Z8K7D.png

step2: 點擊進到 bucket 當中 創建 dags 資料夾

https://ithelp.ithome.com.tw/upload/images/20231010/20135427TjdjW3VWoI.png
https://ithelp.ithome.com.tw/upload/images/20231010/20135427RTeCkE5DVN.png
https://ithelp.ithome.com.tw/upload/images/20231010/20135427DJX1VTWjHS.png

  • dags 資料夾也是必須要先創好的,這樣MWAA才能抓到路徑

搜尋 MWAA

https://ithelp.ithome.com.tw/upload/images/20231010/20135427ecrda1WH7s.png

  • 進入之後直接點 create environment 就可以了~

創建 environment 細節

https://ithelp.ithome.com.tw/upload/images/20231010/20135427O1EjFad5fS.png

  • 「How Amazon MWAA works」這邊說的比較簡略,就是說創建完環境,放 DAG 到 Amazon S3 ,就可以運行了

https://ithelp.ithome.com.tw/upload/images/20231010/20135427NdbfzgKAlB.png

  • Environment 設定名稱「airflow-mwaa」(可以自訂),預設 Airflow version 是最新的,預設的維護時段(maintenance)是隨機的
  • S3 Bucket 設定「s3://airflow-bucket-shawn」(依照你自己的填入),記得一定要先設定好 s3
  • 你設定 S3 Bucket 的名稱之後, DAGs folder 才會出現,就是把 S3 Bucket dags/ 的路徑加上就可以了

S3 Bucket 和 DAGs folder 都可以用 browser 直接搜尋

接著點擊next,明天繼續喔~


上一篇
[Day24] 用 Amazon AWS 架設 Airflow 的方法
下一篇
[Day26] Amazon AWS MWAA 無痛部署 Airflow (2)
系列文
Airflow 是什麼? 能吃嗎 ? 數據水管工的超級蘑菇30
圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言