前言 突然就到最後一天了～沒想到這麼快，過程中學到很多，也發現自己對於文章要求比想像中高，這 30 篇我覺得 90％ 都不符自己的標準，但也因為比賽，不得不發，...
前言 推薦已經五年前但仍適用的 學程式到底要學什麼 by Huli，學習如何看透問題本質並解決問題，比漫無目的學習更重要，接著來分享一下我的想法～ 學海無涯，到...
Amazon AWS EC2 連線 更改 pem 檔案權限 chmod 400 airflow-ec2-key.pem 連線到 EC2 ssh -i airf...
Managed Workflows for Apache Airflow(MWAA) 設定 前面步驟在上一篇喔～ 設定 Virtual private cl...
有鑒於昨天的實作部分，有朋友反應好像講不清楚，一下子就給 code，今天還是再針對每一個 part 來詳細說明～ 一、術式順轉·蒼 - 整體邏輯架構 通常在寫大...
前言 2020 年 12 月發布的 Apache Airflow 2.0，其中很重要的新功能就是 Taskflow API，可以讓我們更簡潔的撰寫 Airflo...
TaskGroup 簡介 TaskGroup 是一種在 Airflow 中用來組織和管理多個 Task 的方法，透過將任務分類成不同群組，讓我們 DAG 當中的...
Airflow 的變數是如何儲存的？ Airflow 的變數是使用 Key-Value 的方式儲存，我們可以打開任何一種資料庫工具，例如：DBeaver、Tab...
今天目標 最簡單的 BashOperator 已經使用過了，今天就要使用 PythonOperator 製作多個 Tasks，學習資料間諜 Xcoms 是怎麼在...
小小前言 突然收到私訊說安裝不起來，才發現前面有一些東西沒講清楚，還是建議大家直接 create 在 ~/airflow，然後虛擬環境也放在裡面，day3 的安...
又回到最初的 Day3 還記得我們開啟了 http://localhost:8080/ 了嗎？忘記了沒關係，從頭再來一次～ 還沒安裝的，可以回到 Day3:快...
昨天談到帶入參數執行 DAG，那如果我們那如果我們今天想要從Task 之間彼此傳遞參數呢？那就必須使用到 Airflow 中的 XCom的功能了 。今天我們就來...
在一開始學習程式的時候，覺得使用參數是件像是魔法一般的事。同樣類型的工作，編寫一次程式碼之後，就可以透過不同的參數產生不同的結果。如果有不同的維度的功能需要加入...
昨天晚成第一個 DAG 之後，是不是覺得有些成就感呢？不過相信也對其中許多概念仍然感覺霧煞煞吧，在今天我們會來說明一下 Airflow 的 DAG 以及 Tas...
剛開始學習程式的時候，對我來說最讓我感到挫折的就是環境安裝的問題。由於許多背景知識的不足，以及系統版本和程式版本非常的複雜，總是需要花上許多時間跟精力進行安裝及...
Airflow 的基礎名詞 Hooks：鉤子/ 接口 Hooks 可以和第三方系統互動，第三方系統是什麼？就是非官方和運營方開發的系統，例如我們要把 Airfl...
不瞞大家，這幾天其實我在日本旅遊當中，所以鐵人賽對我來說真的是很鍛鍊啊！每天有很多行程之外，結束後還是要抓緊時間寫文章，真的是極度瘋狂！但是這過程中卻也覺得十分...
Workflow before Airflow 討論 Airflow 前，先問問大家有聽過 Workflow 嗎？可以翻作工作流，在資料領域，也可以稱作 Dat...
談到 Data Fabric 就是 Athemaster 炬識的主場了！（上一篇談 Data Mesh 可讓我流了很多冷汗啊） 因為 Data Fabric 是...
Step1: 安裝Ubuntu環境 如果透過 VirtualBox VM 就會一點都不快樂了，所以只要安裝 Ubuntu 的終端機(terminal) 1....
從前從前 2015 年，Airbnb 發展迅速，數據量大幅提升，每天必須管理數個資料流來完成自動化，數據管控遇到困難，當時身為 Airbnb 的資料工程師 Ma...
Who am I 打給厚~ 哇係 Shawn，目前是一名資料工程師，也可以叫做數據水管工，工作內容就是串接各種 API 和資料庫，然後想辦法當一名稱職的水管工，...
Shawn
無聊工程師 bored_engineer
Anna Yen
iThome鐵人賽
看影片追技術