iT 邦幫忙::一起幫忙解決難題，拯救 IT 人的一天

2 Like 0 留言 10310 瀏覽

鐵人賽 AI & Data DAY 29

Apache NiFi - 讓你輕鬆設計 Data Pipeline 系列第 29 篇

技術 Day29 NiFi 與其他工具的比較

這邊我想特別寫出這一篇的原因是當初我在學習與操作 NiFi 的過程中，我曾感到一些疑惑，會覺得感覺有些場景流程可以用像是 Apache Airflow 等工具...

Mars Su ‧ 2021-10-14

1 Like 0 留言 6921 瀏覽

技術 Python & Airflow 學習筆記_建立簡易 Dag

這邊記錄了該如何建立一個簡易的 Dag，如果有錯誤或更好的寫法，歡迎留言討論一、Dag 定義就筆者從官方文件的理解，每個 Dag 可以代表是一個要執行的任務...

熊熊工程師 ‧ 2022-08-09

1 Like 0 留言 3966 瀏覽

技術 Python & Airflow 學習筆記_Schedule 以及 Trigger Rule

這篇文章主要是在討論在 Schedule 的設定以及 Trigger Rule，如果有問題歡迎留言討論一、任務排程 Schedule_Interval 在 a...

熊熊工程師 ‧ 2022-08-21

0 Like 0 留言 3868 瀏覽

技術 Python & Airflow 學習筆記_環境架設

最近接觸到 Airflow 這個工具，順便紀錄一下學習的過程，如果有錯誤歡迎留言指正本文僅限於學術用途，各項參考網址皆有附上連結，若有觸犯版權請留言告知一、設...

熊熊工程師 ‧ 2022-08-08

0 Like 0 留言 3013 瀏覽

技術 Python & Airflow 學習筆記_PythonOperator 和 BranchPythonOperator

這篇文章主要是在教學如何在 ariflow 中建立一個可以執行 python function 的 operator，同時也會介紹如何使用 BranchPyth...

熊熊工程師 ‧ 2022-08-21

0 Like 0 留言 2933 瀏覽

技術 Python & Airflow 學習筆記_Operator 間的參數傳遞 XCom

本文主要在教學如何在 Airflow 當中傳遞參數，Airflow 當中提供了 XCom 來進行參數傳遞，而根據官方文檔提示，在撰寫任務流程時，要盡量保持任務的...

熊熊工程師 ‧ 2022-08-27

2 Like 0 留言 2170 瀏覽

鐵人賽 Software Development DAY 1

用 Airflow & Flink 來開發 ETL 吧系列第 1 篇

技術什麼是 ETL，為什麼要做 ETL - Day1

身為一名數據工程師，每天寫 code 做的事情簡單來說，都是 ETL。 Extract、Transform、Load（ETL）是一個常用於資料庫管理和商業智能領...

kaihg1028 ‧ 2023-09-01 ‧團隊今天截止日

1 Like 0 留言 2039 瀏覽

鐵人賽 AI & Data DAY 16

Airflow 是什麼? 能吃嗎 ? 數據水管工的超級蘑菇系列第 16 篇

技術 [Day16] 用 Docker Compose 建立 Airflow 環境

什麼是 Docker Compose Compose 是組合或組成的意思，Docker Compose 就是代表組合多個 Docker 容器，可以直接用 YAM...

Shawn ‧ 2023-10-01

0 Like 0 留言 1802 瀏覽

技術 Python & Airflow 學習筆記_SQLAlchemyOperator

在 Airflow 當中有提供 PostgresOperator 這個東西，他可以直接對資料庫進行 SQL 指令的執行，不過對於已經用習慣 ORM 方式操作資料...

熊熊工程師 ‧ 2022-08-26

0 Like 0 留言 1417 瀏覽

鐵人賽 AI & Data DAY 13

Data pipeline 建起來！用 Airflow 開發你的 Data pipeline 系列第 13 篇

技術『Day13』安裝 Airflow

剛開始學習程式的時候，對我來說最讓我感到挫折的就是環境安裝的問題。由於許多背景知識的不足，以及系統版本和程式版本非常的複雜，總是需要花上許多時間跟精力進行安裝及...

無聊工程師 bored_engineer ‧ 2023-09-28

0 Like 0 留言 1365 瀏覽

鐵人賽 AI & Data DAY 7

Airflow 是什麼? 能吃嗎 ? 數據水管工的超級蘑菇系列第 7 篇

技術 [Day7] 30秒實作第一個 Airflow DAG

又回到最初的 Day3 還記得我們開啟了 http://localhost:8080/ 了嗎？忘記了沒關係，從頭再來一次～還沒安裝的，可以回到 Day3:快...

Shawn ‧ 2023-09-22

1 Like 1 留言 1341 瀏覽

鐵人賽 AI & Data DAY 21

Airflow 是什麼? 能吃嗎 ? 數據水管工的超級蘑菇系列第 21 篇

技術 [Day21] 坐上 Airflow 時光機回到過去-Catchup 和 Backfill

今日練習程式 import pendulum from datetime import datetime import requests from airflo...

Shawn ‧ 2023-10-06

1 Like 0 留言 1225 瀏覽

鐵人賽 Software Development DAY 2

用 Airflow & Flink 來開發 ETL 吧系列第 2 篇

技術 Airflow 的安裝及啟動 - Day2

主題 Airflow 是一個強大且靈活的工作流程管理工具，它可以幫助我們有效地調度和監控數據流程。為了使用 Airflow，我們需要在我們的系統上進行安裝和啟動...

kaihg1028 ‧ 2023-09-02 ‧團隊今天截止日

0 Like 1 留言 1213 瀏覽

鐵人賽 AI & Data DAY 20

Airflow 是什麼? 能吃嗎 ? 數據水管工的超級蘑菇系列第 20 篇

技術 [Day20] Airflow Scheduler 排程爬坑筆記(下)

Airflow 時間變數的地雷區 Before 地雷 start_date ⮕ DAG 開始的日期，必要參數 end_date ⮕ DAG 停止的日期，不必要...

Shawn ‧ 2023-10-05

0 Like 0 留言 1130 瀏覽

鐵人賽 AI & Data DAY 10

Airflow 是什麼? 能吃嗎 ? 數據水管工的超級蘑菇系列第 10 篇

技術 [Day10] Airflow Variable 變數的神秘魔法

Airflow 的變數是如何儲存的？ Airflow 的變數是使用 Key-Value 的方式儲存，我們可以打開任何一種資料庫工具，例如：DBeaver、Tab...

Shawn ‧ 2023-09-25

1 Like 0 留言 1090 瀏覽

鐵人賽 AI & Data DAY 19

Airflow 是什麼? 能吃嗎 ? 數據水管工的超級蘑菇系列第 19 篇

技術 [Day19] Airflow Scheduler 排程爬坑筆記(上)

Before 爬坑 Today Practice 今天繼續使用昨天的安裝模組的 code，簡單好用～ import requests from datetime...

Shawn ‧ 2023-10-04

2 Like 0 留言 1029 瀏覽

鐵人賽 AI & Data DAY 2

Airflow 是什麼? 能吃嗎 ? 數據水管工的超級蘑菇系列第 2 篇

技術 [Day2] Apache Airflow 的前世今生

從前從前 2015 年，Airbnb 發展迅速，數據量大幅提升，每天必須管理數個資料流來完成自動化，數據管控遇到困難，當時身為 Airbnb 的資料工程師 Ma...

Shawn ‧ 2023-09-17

0 Like 0 留言 989 瀏覽

鐵人賽 AI & Data DAY 11

Airflow 是什麼? 能吃嗎 ? 數據水管工的超級蘑菇系列第 11 篇

技術 [Day11] 當我們同在一起 - Airflow Task Group

TaskGroup 簡介 TaskGroup 是一種在 Airflow 中用來組織和管理多個 Task 的方法，透過將任務分類成不同群組，讓我們 DAG 當中的...

Shawn ‧ 2023-09-26

0 Like 0 留言 975 瀏覽

鐵人賽 AI & Data DAY 17

Airflow 是什麼? 能吃嗎 ? 數據水管工的超級蘑菇系列第 17 篇

技術 [Day17] Airflow 連接到 Database 的三種方法

前言連接到 Database ，應該是 Airflow 當中一定會用到的功能，畢竟我們的資料進出都需要操作資料庫，在 dag 當中是用到之前提過的MySqlO...

Shawn ‧ 2023-10-02

0 Like 0 留言 925 瀏覽

鐵人賽 AI & Data DAY 12

Data pipeline 建起來！用 Airflow 開發你的 Data pipeline 系列第 12 篇

技術『Day12』Airflow DAG 介紹

今天也是在日本旅遊與鐵人競賽當中交錯，實在是十分有趣的經驗！今天看到日本許多有設計感的建築，覺得令人歎為觀止，我想除了設計的靈感之外，也需要強大的工程技術能力來...

無聊工程師 bored_engineer ‧ 2023-09-27

0 Like 0 留言 923 瀏覽

鐵人賽 AI & Data DAY 22

Data pipeline 建起來！用 Airflow 開發你的 Data pipeline 系列第 22 篇

技術『Day22』Operator 介紹

在對於外部的連結之後，我們再細部介紹一下 Operator 的使用，其實在 Operator 層級也可以有不同的使用方法。Operator 本身有多種種類，其作...

無聊工程師 bored_engineer ‧ 2023-10-07

0 Like 0 留言 909 瀏覽

鐵人賽 Software Development DAY 3

用 Airflow & Flink 來開發 ETL 吧系列第 3 篇

技術 Airflow DAG 是啥？ - Day3

Airflow DAG 是啥？ DAG 定義 Airflow 的核心之一，一定是 DAG (Directed Acyclic Graph，有向無環圖)。如果說其...

kaihg1028 ‧ 2023-09-03 ‧團隊今天截止日

0 Like 0 留言 894 瀏覽

鐵人賽 AI & Data DAY 14

Data pipeline 建起來！用 Airflow 開發你的 Data pipeline 系列第 14 篇

技術『Day14』第一個 Airflow Data Pipeline

安裝完環境之後，想必在讀本系列文章的你，對於開發 Data pipeline 必定是躍躍欲試！如果對 Airflow 有點熟悉的朋友，這幾天可以簡單瀏覽過或是當...

無聊工程師 bored_engineer ‧ 2023-09-29

1 Like 0 留言 859 瀏覽

鐵人賽 Software Development DAY 5

用 Airflow & Flink 來開發 ETL 吧系列第 5 篇

技術 Airflow PythonOperator (一) - Day5

在上一篇文章裡有提到 PythonOperator 可能是 Airflow 裡最重要的 operator 之一，那當然要花點時間來說明一下使用方法，不過其實很簡...

kaihg1028 ‧ 2023-09-05 ‧團隊今天截止日

0 Like 0 留言 850 瀏覽

鐵人賽 Modern Web DAY 22

透過 python 建立發票系統 - 自己的發票自己查系列第 22 篇

技術 Day 22：如何用 docker 架設 Airflow - 1

架設 Airflow 步驟比較複雜，今天這篇先聚焦於 docker-compose 如何寫決定 Airflow 的 Database 我的版本選定 2.2.4...

皮卡丘打排球 ‧ 2023-10-06

0 Like 0 留言 848 瀏覽

鐵人賽 Software Development DAY 27

用 Airflow & Flink 來開發 ETL 吧系列第 27 篇

技術 Airflow 的 XCom 與限制 - Day27

雖然已經到尾聲了，但我發現有個重要的 Airflow 元件沒有提到，所以必須來補這篇。 Airflow XCom 是一種在不同的 task 之間傳遞資料的機制，...

kaihg1028 ‧ 2023-09-27 ‧團隊今天截止日

0 Like 0 留言 842 瀏覽

鐵人賽 AI & Data DAY 4

Airflow 是什麼? 能吃嗎 ? 數據水管工的超級蘑菇系列第 4 篇

技術 [Day4] Airflow 快樂安裝指北(Windows篇)

Step1: 安裝Ubuntu環境如果透過 VirtualBox VM 就會一點都不快樂了，所以只要安裝 Ubuntu 的終端機(terminal) 1....

Shawn ‧ 2023-09-19

0 Like 0 留言 838 瀏覽

鐵人賽 Modern Web DAY 1

透過 python 建立發票系統 - 自己的發票自己查系列第 1 篇

技術 Day 1 ：發票查詢系統

動機相信數位時代的各位都已經有申請過載具條碼，每天消費紀錄都會存到發票 APP，你會發現詳細記載購買項目、商家名稱、商家地址等等，但有想過這些 APP 怎麼做...

皮卡丘打排球 ‧ 2023-09-15

0 Like 1 留言 834 瀏覽

鐵人賽 AI & Data DAY 18

Data pipeline 建起來！用 Airflow 開發你的 Data pipeline 系列第 18 篇

技術『Day18』帶入參數執行 DAG

在一開始學習程式的時候，覺得使用參數是件像是魔法一般的事。同樣類型的工作，編寫一次程式碼之後，就可以透過不同的參數產生不同的結果。如果有不同的維度的功能需要加入...

無聊工程師 bored_engineer ‧ 2023-10-03

0 Like 1 留言 822 瀏覽

鐵人賽 Software Development DAY 4

用 Airflow & Flink 來開發 ETL 吧系列第 4 篇

技術來寫第一個 DAG 吧 - Day4

Airflow 來寫第一個 DAG 吧第一個例子現在，我們來看一個簡單但真實的Airflow DAG 例子，並介紹其中一些常見的運算符（task）。 fro...

kaihg1028 ‧ 2023-09-04 ‧團隊今天截止日