iT邦幫忙

2023 iThome 鐵人賽

DAY 1
0

Who am I

打給厚~ 哇係 Shawn,目前是一名資料工程師,也可以叫做數據水管工,工作內容就是串接各種 API 和資料庫,然後想辦法當一名稱職的水管工,把資料水管(Data Pipeline)接起來,然後穩穩地讓資料流到資料分析師、資料科學家手上。
水管工
Ref: mariowiki

誒抖~或是很有可能是自己再把資料接起來,想辦法呈現給老闆或客戶看,畢竟資料領域的界線總是很模糊的,通常只有隕石式開發和一人分組分工/images/emoticon/emoticon02.gif

隕石式開發一人分組分工
Ref:PTT隕石式開發Meme梗圖倉庫

為蝦密係 Airflow

Airflow 算是四五年前就聽過的工具,但一直沒有機會好好學習,最近工作剛好有機會使用,期望能在這 30 天好好整理一下,目前學下來覺得中文的資料沒有很多,希望大家能一起學習,一起成長,有寫錯的很歡迎多多提醒,因為我也正在學習當中。

這30天會講什麼

啊災,就且戰且走,過程中參考的資料都會一起放上來,如果真的看不懂也都可以留言,我也可以拍操作影片,反正就算是讀書會,內容一定會盡可能的淺顯易懂,以前我也常常在教國中小學生寫程式和帶程式社團,應該有培養出把艱深知識簡單化的能力,一起加油吧~

文章列表(順利完賽🎊)

[Day1] 前言
[Day2] Apache Airflow 的前世今生
[Day3] Airflow 快樂安裝指北(Mac篇)
[Day4] Airflow 快樂安裝指北(Windows篇)
[Day5] 超級蘑菇 Airflow 的食用說明書(1)
[Day6] 超級蘑菇 Airflow 的食用說明書(2)
[Day7] 30秒實作第一個 Airflow DAG
[Day8] 關於 Airflow Web UI 的大小事
[Day9] Airflow Tasks 之間的資料間諜 XComs
[Day10] Airflow Variable 變數的神秘魔法
[Day11] 當我們同在一起 - Airflow Task Group
[Day12] 零地點突破‧改-Airflow Taskflow API(上)
[Day13] 零地點突破‧改-Airflow Taskflow API(下)
[Day14] 吃了容器果實的鯨魚拉布-Docker(1)
[Day15] 吃了容器果實的鯨魚拉布-Docker(2)
[Day16] 用 Docker Compose 建立 Airflow 環境
[Day17] Airflow 連接到 Database 的三種方法
[day18] 急!在線等!求解20 點!Airflow 安裝 Python 模組
[Day19] Airflow Scheduler 排程爬坑筆記(上)
[Day20] Airflow Scheduler 排程爬坑筆記(下)
[Day21] 坐上 Airflow 時光機回到過去-Catchup 和 Backfill
[Day22] Airflow牙起來-Debug 和 Testing (1)
[Day23] Airflow牙起來-Debug 和 Testing (2)
[Day24] 用 Amazon AWS 架設 Airflow 的方法
[Day25] Amazon AWS MWAA 無痛部署 Airflow (1)
[Day26] Amazon AWS MWAA 無痛部署 Airflow (2)
[Day27] Amazon AWS EC2 免費部署 Airflow (1)
[Day28] Amazon AWS EC2 免費部署 Airflow (2)
[Day29] 學海無涯,需求是岸-Airflow 資源分享
[Day30] 台灣人必做第四件事-鐵人賽完賽結語

收煞

其實一直想好好經營部落格,但通常只有「想」而已,因為我也是個拖延癌末期患者,希望鐵人診所能讓我化療成功,克服最大靜摩擦力,之後穩定產出。除此之外,希望文章對資料社群有小小貢獻,畢竟也潛水很久了,寫文章過程也能幫自己整理筆記,之後忘記才能上來複習,因為我的健忘症也是蠻嚴重的,接下來30天請多多指教。
/images/emoticon/emoticon06.gif


下一篇
[Day2] Apache Airflow 的前世今生
系列文
Airflow 是什麼? 能吃嗎 ? 數據水管工的超級蘑菇30
圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言