iT 邦幫忙::一起幫忙解決難題，拯救 IT 人的一天

0 Like 0 留言 975 瀏覽

鐵人賽 AI & Data DAY 17

Airflow 是什麼? 能吃嗎 ? 數據水管工的超級蘑菇系列第 17 篇

技術 [Day17] Airflow 連接到 Database 的三種方法

前言連接到 Database ，應該是 Airflow 當中一定會用到的功能，畢竟我們的資料進出都需要操作資料庫，在 dag 當中是用到之前提過的MySqlO...

Shawn ‧ 2023-10-02

1 Like 0 留言 2039 瀏覽

鐵人賽 AI & Data DAY 16

Airflow 是什麼? 能吃嗎 ? 數據水管工的超級蘑菇系列第 16 篇

技術 [Day16] 用 Docker Compose 建立 Airflow 環境

什麼是 Docker Compose Compose 是組合或組成的意思，Docker Compose 就是代表組合多個 Docker 容器，可以直接用 YAM...

Shawn ‧ 2023-10-01

1 Like 0 留言 323 瀏覽

鐵人賽 Software Development DAY 30

用 Airflow & Flink 來開發 ETL 吧系列第 30 篇

技術利用 Github Action 來做 CI 吧 - Day30

終於來到最後一篇了，我們前面寫了這麼多程式跟測試，那要什麼時候執行測試？理論上，你隨時都應該做。特別是 merge branch 回 develop 的時候。...

kaihg1028 ‧ 2023-09-30 ‧團隊今天截止日

1 Like 1 留言 611 瀏覽

鐵人賽 AI & Data DAY 15

Airflow 是什麼? 能吃嗎 ? 數據水管工的超級蘑菇系列第 15 篇

技術 [Day15] 吃了容器果實的鯨魚拉布-Docker(2)

安裝 Docker Docker Desktop 下載 https://www.docker.com/products/docker-desktop/ Doc...

Shawn ‧ 2023-09-30

1 Like 0 留言 635 瀏覽

鐵人賽 AI & Data DAY 14

Airflow 是什麼? 能吃嗎 ? 數據水管工的超級蘑菇系列第 14 篇

技術 [Day14] 吃了容器果實的鯨魚拉布-Docker(1)

前言之前很多鐵人賽都有談過 docker ，想要很完整系統性的學 docker，都可以參考下方連結：1. 30 天與鯨魚先生做好朋友2. 那些關於 dock...

Shawn ‧ 2023-09-29

1 Like 0 留言 361 瀏覽

鐵人賽 Software Development DAY 29

用 Airflow & Flink 來開發 ETL 吧系列第 29 篇

技術來用 TDD 開發 Airflow DAG 吧 - Day29

TDD（測試驅動開發 Test Driven Develop）是一種軟體開發方法，它要求在編寫任何程式碼之前，先撰寫測試案例。這樣可以確保程式碼的品質和可靠性，...

kaihg1028 ‧ 2023-09-29 ‧團隊今天截止日

0 Like 0 留言 565 瀏覽

鐵人賽 AI & Data DAY 13

Airflow 是什麼? 能吃嗎 ? 數據水管工的超級蘑菇系列第 13 篇

技術 [Day13] 零地點突破‧改-Airflow Taskflow API(下)

有鑒於昨天的實作部分，有朋友反應好像講不清楚，一下子就給 code，今天還是再針對每一個 part 來詳細說明～一、術式順轉·蒼 - 整體邏輯架構通常在寫大...

Shawn ‧ 2023-09-28

0 Like 0 留言 515 瀏覽

鐵人賽 Software Development DAY 28

用 Airflow & Flink 來開發 ETL 吧系列第 28 篇

技術讓 Airflow 呼叫 Flink - Day28

我們前面講了 Airflow 跟 Flink 的一些基礎觀念跟開發，現在讓我們整理一下兩邊的差異。首先，Airflow 是一個優秀的排程管理工具，它有自己的...

kaihg1028 ‧ 2023-09-28 ‧團隊今天截止日

0 Like 0 留言 848 瀏覽

鐵人賽 Software Development DAY 27

用 Airflow & Flink 來開發 ETL 吧系列第 27 篇

技術 Airflow 的 XCom 與限制 - Day27

雖然已經到尾聲了，但我發現有個重要的 Airflow 元件沒有提到，所以必須來補這篇。 Airflow XCom 是一種在不同的 task 之間傳遞資料的機制，...

kaihg1028 ‧ 2023-09-27 ‧團隊今天截止日

0 Like 0 留言 819 瀏覽

鐵人賽 AI & Data DAY 12

Airflow 是什麼? 能吃嗎 ? 數據水管工的超級蘑菇系列第 12 篇

技術 [Day12] 零地點突破‧改-Airflow Taskflow API(上)

前言 2020 年 12 月發布的 Apache Airflow 2.0，其中很重要的新功能就是 Taskflow API，可以讓我們更簡潔的撰寫 Airflo...

Shawn ‧ 2023-09-27

0 Like 0 留言 376 瀏覽

鐵人賽 Modern Web DAY 28

透過 python 建立發票系統 - 自己的發票自己查系列第 28 篇

技術 Day 28：設計查詢載具發票 DAG - 2

有了載具發票之後，可以透過發票號碼、消費日期、載具條碼、載具驗證碼來查詢發票購買細項通常這邊發票會很多(因為一個月通常會有很多發票)，例如我昨天在發票表頭 A...

皮卡丘打排球 ‧ 2023-10-12

0 Like 0 留言 550 瀏覽

鐵人賽 Modern Web DAY 27

透過 python 建立發票系統 - 自己的發票自己查系列第 27 篇

技術 Day 27：設計查詢載具發票 DAG - 1

查詢載具發票的 DAG 是比較複雜的邏輯，還記得在 Day 2：電子發票應用 API 規格 - 1有提到「抓載具發票是分成兩段式，也因此發票 APP 會先拿到所...

皮卡丘打排球 ‧ 2023-10-11

0 Like 0 留言 346 瀏覽

鐵人賽 Modern Web DAY 26

透過 python 建立發票系統 - 自己的發票自己查系列第 26 篇

技術 Day 26：設計查詢載具有效的 DAG

如果昨天設計 DAG 都了解，今天的課題基本上就是 copy paste 改一改 Exception 這邊先補充昨天沒有提到的 @handle_excepti...

皮卡丘打排球 ‧ 2023-10-10

0 Like 0 留言 356 瀏覽

鐵人賽 Modern Web DAY 25

透過 python 建立發票系統 - 自己的發票自己查系列第 25 篇

技術 Day 25：設計紙本電子發票查詢的 DAG

DAG 首先我們先去定義 DAG，僅需要定義撈取紙本發票資訊即可由於採用非同步方式，所以使用 asynico with DAG( dag_id...

皮卡丘打排球 ‧ 2023-10-09

0 Like 0 留言 600 瀏覽

鐵人賽 Modern Web DAY 23

透過 python 建立發票系統 - 自己的發票自己查系列第 23 篇

技術 Day 23：如何用 docker 架設 Airflow -2

有了 docker-compose.yml 之後我們還有一些待辦事項，接著在 /airflow 建立 Dockerfile Dockerfile FROM ap...

皮卡丘打排球 ‧ 2023-10-07

0 Like 0 留言 850 瀏覽

鐵人賽 Modern Web DAY 22

透過 python 建立發票系統 - 自己的發票自己查系列第 22 篇

技術 Day 22：如何用 docker 架設 Airflow - 1

架設 Airflow 步驟比較複雜，今天這篇先聚焦於 docker-compose 如何寫決定 Airflow 的 Database 我的版本選定 2.2.4...

皮卡丘打排球 ‧ 2023-10-06

0 Like 0 留言 989 瀏覽

鐵人賽 AI & Data DAY 11

Airflow 是什麼? 能吃嗎 ? 數據水管工的超級蘑菇系列第 11 篇

技術 [Day11] 當我們同在一起 - Airflow Task Group

TaskGroup 簡介 TaskGroup 是一種在 Airflow 中用來組織和管理多個 Task 的方法，透過將任務分類成不同群組，讓我們 DAG 當中的...

Shawn ‧ 2023-09-26

0 Like 0 留言 1130 瀏覽

鐵人賽 AI & Data DAY 10

Airflow 是什麼? 能吃嗎 ? 數據水管工的超級蘑菇系列第 10 篇

技術 [Day10] Airflow Variable 變數的神秘魔法

Airflow 的變數是如何儲存的？ Airflow 的變數是使用 Key-Value 的方式儲存，我們可以打開任何一種資料庫工具，例如：DBeaver、Tab...

Shawn ‧ 2023-09-25

2 Like 0 留言 594 瀏覽

鐵人賽 AI & Data DAY 9

Airflow 是什麼? 能吃嗎 ? 數據水管工的超級蘑菇系列第 9 篇

技術 [Day9] Airflow Tasks 之間的資料間諜 XComs

今天目標最簡單的 BashOperator 已經使用過了，今天就要使用 PythonOperator 製作多個 Tasks，學習資料間諜 Xcoms 是怎麼在...

Shawn ‧ 2023-09-24

0 Like 0 留言 782 瀏覽

鐵人賽 AI & Data DAY 8

Airflow 是什麼? 能吃嗎 ? 數據水管工的超級蘑菇系列第 8 篇

技術 [Day8] 關於 Airflow Web UI 的大小事

小小前言突然收到私訊說安裝不起來，才發現前面有一些東西沒講清楚，還是建議大家直接 create 在 ~/airflow，然後虛擬環境也放在裡面，day3 的安...

Shawn ‧ 2023-09-23

0 Like 0 留言 394 瀏覽

鐵人賽 Modern Web DAY 30

透過 python 建立發票系統 - 自己的發票自己查系列第 30 篇

技術 Day 30：向 tw_invoice 作者提交 PR

我將 Airflow 遇到的情況說明給作者，大意大概是我在 Airflow 經常發現有 NewConnectionError 這個問題，而且回應時間大約是 2...

皮卡丘打排球 ‧ 2023-10-14

0 Like 0 留言 391 瀏覽

鐵人賽 Modern Web DAY 29

透過 python 建立發票系統 - 自己的發票自己查系列第 29 篇

技術 Day 29：進行大量測試發現重大問題！

我進行大量測試之後，發現這個查詢的速度相當地慢，有一次我將 airflow 設計每分鐘都跑（但實際上會等上一個排程跑完才會跑下一個，一個排程跑相當地久，retr...

皮卡丘打排球 ‧ 2023-10-13

0 Like 0 留言 546 瀏覽

鐵人賽 AI & Data DAY 20

Data pipeline 建起來！用 Airflow 開發你的 Data pipeline 系列第 20 篇

技術『Day20』Variable 與 Template

在前兩天陸續介紹了 Airflow 如何進行參數傳遞的主題，以及 XCom 的設計及使用方法。今天接續著參數的話題來談談 Airflow Variable 及...

無聊工程師 bored_engineer ‧ 2023-10-05

0 Like 0 留言 1365 瀏覽

鐵人賽 AI & Data DAY 7

Airflow 是什麼? 能吃嗎 ? 數據水管工的超級蘑菇系列第 7 篇

技術 [Day7] 30秒實作第一個 Airflow DAG

又回到最初的 Day3 還記得我們開啟了 http://localhost:8080/ 了嗎？忘記了沒關係，從頭再來一次～還沒安裝的，可以回到 Day3:快...

Shawn ‧ 2023-09-22

0 Like 0 留言 644 瀏覽

鐵人賽 AI & Data DAY 19

Data pipeline 建起來！用 Airflow 開發你的 Data pipeline 系列第 19 篇

技術『Day19』使用 XCom 進行 Task之間參數傳遞

昨天談到帶入參數執行 DAG，那如果我們那如果我們今天想要從Task 之間彼此傳遞參數呢？那就必須使用到 Airflow 中的 XCom的功能了。今天我們就來...

無聊工程師 bored_engineer ‧ 2023-10-04

0 Like 1 留言 834 瀏覽

鐵人賽 AI & Data DAY 18

Data pipeline 建起來！用 Airflow 開發你的 Data pipeline 系列第 18 篇

技術『Day18』帶入參數執行 DAG

在一開始學習程式的時候，覺得使用參數是件像是魔法一般的事。同樣類型的工作，編寫一次程式碼之後，就可以透過不同的參數產生不同的結果。如果有不同的維度的功能需要加入...

無聊工程師 bored_engineer ‧ 2023-10-03

0 Like 0 留言 815 瀏覽

鐵人賽 AI & Data DAY 17

Data pipeline 建起來！用 Airflow 開發你的 Data pipeline 系列第 17 篇

技術『Day17』DAG 執行方式與排程

經過前幾天的介紹，相信大家應該都有一個基本的概念輪廓，知道如何透過 Airflow DAG 建立所需要的 Data pipeline了。今天來談談 DAG 如何...

無聊工程師 bored_engineer ‧ 2023-10-02

0 Like 0 留言 728 瀏覽

鐵人賽 AI & Data DAY 16

Data pipeline 建起來！用 Airflow 開發你的 Data pipeline 系列第 16 篇

技術『Day16』Relationships 關聯關係

昨天說明了 DAG 以及 Task，今天我們繼續說明另一個很重要的 Airflow 元件 -- Relationships 關聯關係。在我們做的第一個 DAG...

無聊工程師 bored_engineer ‧ 2023-10-01

0 Like 0 留言 750 瀏覽

鐵人賽 AI & Data DAY 15

Data pipeline 建起來！用 Airflow 開發你的 Data pipeline 系列第 15 篇

技術『Day15』如何使用 DAG , Task

昨天晚成第一個 DAG 之後，是不是覺得有些成就感呢？不過相信也對其中許多概念仍然感覺霧煞煞吧，在今天我們會來說明一下 Airflow 的 DAG 以及 Tas...

無聊工程師 bored_engineer ‧ 2023-09-30

0 Like 0 留言 894 瀏覽

鐵人賽 AI & Data DAY 14

Data pipeline 建起來！用 Airflow 開發你的 Data pipeline 系列第 14 篇

技術『Day14』第一個 Airflow Data Pipeline

安裝完環境之後，想必在讀本系列文章的你，對於開發 Data pipeline 必定是躍躍欲試！如果對 Airflow 有點熟悉的朋友，這幾天可以簡單瀏覽過或是當...

無聊工程師 bored_engineer ‧ 2023-09-29