鐵人檔案
資料工程師，也叫做數據水管工，主要就是要想辦法串接老闆、PM、分析師、科學家要的資料，因為過去常常用 crontab 到發瘋，所以想認真研究 Airflow ，希望學習過程中能透過鐵人賽督促自己。
今日練習程式 import pendulum from datetime import datetime import requests from airflo...
前言 知道為什麼標題會叫做「牙起來」嗎？真的開發就會知道了Airflow 的 debug 和 testing 都是比較麻煩的，會越用越抓狂，這兩天會整理我的方式...
前言 昨天有用 airflow dags test 和 airflow tasks test 測試執行，今天要試著用 pytest 模組來 testing ，...
Amazon AWS 是什麼 Amazon Web Services (AWS) 是全球領先的雲端服務提供商，市占率目前第一，提供許多彈性、擴展性高且可靠的雲端...
前言 雖然說標題是說無痛部署，但是錢包會很痛，因為 AWS 的 Free Tier (一年免費方案) 並沒有包含這個服務，所以不要像我一樣傻傻的就直接開了😿 兩...
Managed Workflows for Apache Airflow(MWAA) 設定 前面步驟在上一篇喔～ 設定 Virtual private cl...
Create AWS EC2 step1: 點擊進入 EC2 step2: 點擊 lanuch instance step3: 設定 EC2 名稱 我這邊是...
Amazon AWS EC2 連線 更改 pem 檔案權限 chmod 400 airflow-ec2-key.pem 連線到 EC2 ssh -i airf...
前言 推薦已經五年前但仍適用的 學程式到底要學什麼 by Huli，學習如何看透問題本質並解決問題，比漫無目的學習更重要，接著來分享一下我的想法～ 學海無涯，到...
前言 突然就到最後一天了～沒想到這麼快，過程中學到很多，也發現自己對於文章要求比想像中高，這 30 篇我覺得 90％ 都不符自己的標準，但也因為比賽，不得不發，...
