技術 Airflow 的單元測試 (一) - Day11

如果前面的鐵人賽每篇你都看過的話(希望你有)，可能會發現我常常提到「測試」，或是說「為了測試」。測試是非常重要的，但這裡我就先不細談，有興趣的人歡迎看看我朋友...

技術 [Day13] 零地點突破‧改-Airflow Taskflow API(下)

有鑒於昨天的實作部分，有朋友反應好像講不清楚，一下子就給 code，今天還是再針對每一個 part 來詳細說明～ 一、術式順轉·蒼 - 整體邏輯架構 通常在寫大...

技術 『Day25』使用 View 來監控執行狀況

在前兩天中，我們開發了天氣資訊的 DAG，我們知道在軟體工程的實踐中，開發只是一個部分，開發完成之後，後續的維運、監控以及持續的修正也是非常的重要。Airflo...

技術 Day 27：設計查詢載具發票 DAG - 1

查詢載具發票的 DAG 是比較複雜的邏輯，還記得在 Day 2：電子發票應用 API 規格 - 1有提到「抓載具發票是分成兩段式，也因此發票 APP 會先拿到所...

技術 Airflow TaskFlow 改寫 DAG - Day10

今天這段其實不是開發 Airflow 必要的部份，甚至會多增加一點麻煩。但我個人還是比較喜歡這種寫法，所以來寫一些。 前面有提到 PythonOperator...

技術 『Day28』部署 DAG

在我們開發完成 DAG 之後，通常並非一次性就結束了，隨著時間過去，需求有持續不斷的改變，而我們的程式也必須持續的修改以及優化。有一個良好的開發流程以及 CI/...

技術 『Day20』Variable 與 Template

在前兩天陸續介紹了 Airflow 如何進行參數傳遞的主題，以及 XCom 的設計及使用方法。今天接續著參數的話題來談談 Airflow Variable 及...

技術 Airflow 測試(二) - Day12

上一篇講了一些測試心得，這篇就來講個偏整合性的測試方法吧。 CMD 測試 這是官方提供的方法，用起來也很簡單： # command layout: comman...

技術 Airflow 自訂 Operator - Day9

儘管Airflow提供了許多內置的運算符（Operators），但有時候我們需要根據特定需求開發自己的自定義運算符。這篇文章將介紹如何在Airflow中開發自定...

技術 Day 30：向 tw_invoice 作者提交 PR

我將 Airflow 遇到的情況說明給作者，大意大概是我在 Airflow 經常發現有 NewConnectionError 這個問題，而且回應時間大約是 2...

技術 Day 29：進行大量測試 發現重大問題！

我進行大量測試之後，發現這個查詢的速度相當地慢，有一次我將 airflow 設計每分鐘都跑（但實際上會等上一個排程跑完才會跑下一個，一個排程跑相當地久，retr...

技術 Day 28：設計查詢載具發票 DAG - 2

有了載具發票之後，可以透過發票號碼、消費日期、載具條碼、載具驗證碼來查詢發票購買細項 通常這邊發票會很多(因為一個月通常會有很多發票)，例如我昨天在發票表頭 A...

技術 來用 TDD 開發 Airflow DAG 吧 - Day29

TDD（測試驅動開發 Test Driven Develop）是一種軟體開發方法，它要求在編寫任何程式碼之前，先撰寫測試案例。這樣可以確保程式碼的品質和可靠性，...

技術 利用 Github Action 來做 CI 吧 - Day30

終於來到最後一篇了，我們前面寫了這麼多程式跟測試，那要什麼時候執行測試？ 理論上，你隨時都應該做。特別是 merge branch 回 develop 的時候。...

技術 Day 25：設計紙本電子發票查詢的 DAG

DAG 首先我們先去定義 DAG，僅需要定義撈取紙本發票資訊即可 由於採用非同步方式，所以使用 asynico with DAG( dag_id...

技術 Airflow 測試遇到的package 的奇妙問題 - Day14

這篇來講一下在測試的時候遇到的問題，主要是 package 的 import issue 一般來說，我們開發的 dag 都會放在 project 下的 /dag...

技術 Day 26：設計查詢載具有效的 DAG

如果昨天設計 DAG 都了解，今天的課題基本上就是 copy paste 改一改 Exception 這邊先補充昨天沒有提到的 @handle_excepti...