今天就是鐵人賽最後一天了，回想過去的一個月裡真的做了很多的事情，感謝鐵人賽能讓我的生活變得更豐富(爆炸？)以及充實。透過這次的鐵人賽也讓我有機會能夠整理關於 D...
不知不覺已經來到鐵人賽最後兩天了，加油！在讀本篇文章的讀者們，非常感謝你們一路的支持！在本系列的初期，我們有介紹到 Airflow 的設計概念，其中一個很重要的...
在我們開發完成 DAG 之後，通常並非一次性就結束了，隨著時間過去，需求有持續不斷的改變，而我們的程式也必須持續的修改以及優化。有一個良好的開發流程以及 CI/...
在我們開發 weather_dag 之後，我們介紹了如何透過 View 以及警報來監控 DAG 執行的狀況。在開發之後其實還有一件非常重要的事，那就是測試，對於...
上一篇跟大家分享了 Airflow 功能強大的各種 View。而這篇要來跟大家分享警報的實作方法。不同於 View 是開發者以及維運人員需要主動進行查看，警報則...
在前兩天中，我們開發了天氣資訊的 DAG，我們知道在軟體工程的實踐中，開發只是一個部分，開發完成之後，後續的維運、監控以及持續的修正也是非常的重要。Airflo...
昨天我們建立了天氣資訊 DAG 的基本架構和流程。今天我們來繼續實作細部的 Task 工作。首先我們從 Extract Function 進行實作。 實作 Ex...
還記得我們第一次寫的 first_dag 嗎？當時只是基本的寫了一個 DAG 的雛形，在經過這幾天更了解 DAG 各個元件之後，大家是不是覺得躍躍欲試呢，相信大...
在對於外部的連結之後，我們再細部介紹一下 Operator 的使用，其實在 Operator 層級也可以有不同的使用方法。Operator 本身有多種種類，其作...
到目前為止我們了解，DAG 如何建立，如何設定關聯關係，如何傳遞變數。而在Data pipeline 當中還有很重要的一個部分是與外部系統溝通。 Airflow...
Create AWS EC2 step1: 點擊進入 EC2 step2: 點擊 lanuch instance step3: 設定 EC2 名稱 我這邊是...
前言 昨天有用 airflow dags test 和 airflow tasks test 測試執行，今天要試著用 pytest 模組來 testing ，...
前言 知道為什麼標題會叫做「牙起來」嗎？真的開發就會知道了Airflow 的 debug 和 testing 都是比較麻煩的，會越用越抓狂，這兩天會整理我的方式...
今日練習程式 import pendulum from datetime import datetime import requests from airflo...
Airflow 時間變數的地雷區 Before 地雷 start_date ⮕ DAG 開始的日期，必要參數 end_date ⮕ DAG 停止的日期，不必要...
Before 爬坑 Today Practice 今天繼續使用昨天的安裝模組的 code，簡單好用～ import requests from datetime...
安安～在嗎～各位大大～什麼！這種梗透露年齡了嗎～該不會大家都千禧年之後出生的吧～趕快開始今天的內容吧～ Before Install Library 建立測試...
前言 連接到 Database ，應該是 Airflow 當中一定會用到的功能，畢竟我們的資料進出都需要操作資料庫，在 dag 當中是用到之前提過的MySqlO...
什麼是 Docker Compose Compose 是組合或組成的意思，Docker Compose 就是代表組合多個 Docker 容器，可以直接用 YAM...
終於來到最後一篇了，我們前面寫了這麼多程式跟測試，那要什麼時候執行測試？ 理論上，你隨時都應該做。特別是 merge branch 回 develop 的時候。...
安裝 Docker Docker Desktop 下載 https://www.docker.com/products/docker-desktop/ Doc...
前言 之前很多鐵人賽都有談過 docker ，想要很完整系統性的學 docker，都可以參考下方連結：1. 30 天與鯨魚先生做好朋友2. 那些關於 dock...
TDD（測試驅動開發 Test Driven Develop）是一種軟體開發方法，它要求在編寫任何程式碼之前，先撰寫測試案例。這樣可以確保程式碼的品質和可靠性，...
有鑒於昨天的實作部分，有朋友反應好像講不清楚，一下子就給 code，今天還是再針對每一個 part 來詳細說明～ 一、術式順轉·蒼 - 整體邏輯架構 通常在寫大...
我們前面講了 Airflow 跟 Flink 的一些基礎觀念跟開發，現在讓我們整理一下兩邊的差異。 首先，Airflow 是一個優秀的排程管理工具，它有自己的...
雖然已經到尾聲了，但我發現有個重要的 Airflow 元件沒有提到，所以必須來補這篇。 Airflow XCom 是一種在不同的 task 之間傳遞資料的機制，...
前言 2020 年 12 月發布的 Apache Airflow 2.0，其中很重要的新功能就是 Taskflow API，可以讓我們更簡潔的撰寫 Airflo...
有了載具發票之後，可以透過發票號碼、消費日期、載具條碼、載具驗證碼來查詢發票購買細項 通常這邊發票會很多(因為一個月通常會有很多發票)，例如我昨天在發票表頭 A...
查詢載具發票的 DAG 是比較複雜的邏輯，還記得在 Day 2：電子發票應用 API 規格 - 1有提到「抓載具發票是分成兩段式，也因此發票 APP 會先拿到所...
如果昨天設計 DAG 都了解，今天的課題基本上就是 copy paste 改一改 Exception 這邊先補充昨天沒有提到的 @handle_excepti...
無聊工程師 bored_engineer
Shawn
kaihg1028
皮卡丘打排球
iThome鐵人賽
看影片追技術