iT 邦幫忙::一起幫忙解決難題，拯救 IT 人的一天

2 Like 0 留言 12379 瀏覽

鐵人賽 AI & Data DAY 29

Apache NiFi - 讓你輕鬆設計 Data Pipeline 系列第 29 篇

技術 Day29 NiFi 與其他工具的比較

這邊我想特別寫出這一篇的原因是當初我在學習與操作 NiFi 的過程中，我曾感到一些疑惑，會覺得感覺有些場景流程可以用像是 Apache Airflow 等工具...

Mars Su ‧ 2021-10-14

1 Like 0 留言 8753 瀏覽

技術 Python & Airflow 學習筆記_建立簡易 Dag

這邊記錄了該如何建立一個簡易的 Dag，如果有錯誤或更好的寫法，歡迎留言討論一、Dag 定義就筆者從官方文件的理解，每個 Dag 可以代表是一個要執行的任務...

熊熊工程師 ‧ 2022-08-09

1 Like 0 留言 5006 瀏覽

技術 Python & Airflow 學習筆記_Schedule 以及 Trigger Rule

這篇文章主要是在討論在 Schedule 的設定以及 Trigger Rule，如果有問題歡迎留言討論一、任務排程 Schedule_Interval 在 a...

熊熊工程師 ‧ 2022-08-21

0 Like 0 留言 4685 瀏覽

技術 Python & Airflow 學習筆記_環境架設

最近接觸到 Airflow 這個工具，順便紀錄一下學習的過程，如果有錯誤歡迎留言指正本文僅限於學術用途，各項參考網址皆有附上連結，若有觸犯版權請留言告知一、設...

熊熊工程師 ‧ 2022-08-08

1 Like 0 留言 4038 瀏覽

鐵人賽 AI & Data DAY 16

Airflow 是什麼? 能吃嗎 ? 數據水管工的超級蘑菇系列第 16 篇

技術 [Day16] 用 Docker Compose 建立 Airflow 環境

什麼是 Docker Compose Compose 是組合或組成的意思，Docker Compose 就是代表組合多個 Docker 容器，可以直接用 YAM...

Shawn ‧ 2023-10-01

0 Like 0 留言 3947 瀏覽

技術 Python & Airflow 學習筆記_PythonOperator 和 BranchPythonOperator

這篇文章主要是在教學如何在 ariflow 中建立一個可以執行 python function 的 operator，同時也會介紹如何使用 BranchPyth...

熊熊工程師 ‧ 2022-08-21

2 Like 0 留言 3936 瀏覽

鐵人賽 Software Development DAY 1

用 Airflow & Flink 來開發 ETL 吧系列第 1 篇

技術什麼是 ETL，為什麼要做 ETL - Day1

身為一名數據工程師，每天寫 code 做的事情簡單來說，都是 ETL。 Extract、Transform、Load（ETL）是一個常用於資料庫管理和商業智能領...

kaihg1028 ‧ 2023-09-01 ‧團隊今天截止日

0 Like 0 留言 3334 瀏覽

技術 Python & Airflow 學習筆記_Operator 間的參數傳遞 XCom

本文主要在教學如何在 Airflow 當中傳遞參數，Airflow 當中提供了 XCom 來進行參數傳遞，而根據官方文檔提示，在撰寫任務流程時，要盡量保持任務的...

熊熊工程師 ‧ 2022-08-27

1 Like 1 留言 2532 瀏覽

鐵人賽 AI & Data DAY 21

Airflow 是什麼? 能吃嗎 ? 數據水管工的超級蘑菇系列第 21 篇

技術 [Day21] 坐上 Airflow 時光機回到過去-Catchup 和 Backfill

今日練習程式 import pendulum from datetime import datetime import requests from airflo...

Shawn ‧ 2023-10-06

0 Like 0 留言 2287 瀏覽

鐵人賽 AI & Data DAY 13

Data pipeline 建起來！用 Airflow 開發你的 Data pipeline 系列第 13 篇

技術『Day13』安裝 Airflow

剛開始學習程式的時候，對我來說最讓我感到挫折的就是環境安裝的問題。由於許多背景知識的不足，以及系統版本和程式版本非常的複雜，總是需要花上許多時間跟精力進行安裝及...

無聊工程師 bored_engineer ‧ 2023-09-28

0 Like 0 留言 2208 瀏覽

技術 Python & Airflow 學習筆記_SQLAlchemyOperator

在 Airflow 當中有提供 PostgresOperator 這個東西，他可以直接對資料庫進行 SQL 指令的執行，不過對於已經用習慣 ORM 方式操作資料...

熊熊工程師 ‧ 2022-08-26

1 Like 0 留言 2195 瀏覽

鐵人賽 AI & Data DAY 19

Airflow 是什麼? 能吃嗎 ? 數據水管工的超級蘑菇系列第 19 篇

技術 [Day19] Airflow Scheduler 排程爬坑筆記(上)

Before 爬坑 Today Practice 今天繼續使用昨天的安裝模組的 code，簡單好用～ import requests from datetime...

Shawn ‧ 2023-10-04

0 Like 1 留言 2192 瀏覽

鐵人賽 AI & Data DAY 20

Airflow 是什麼? 能吃嗎 ? 數據水管工的超級蘑菇系列第 20 篇

技術 [Day20] Airflow Scheduler 排程爬坑筆記(下)

Airflow 時間變數的地雷區 Before 地雷 start_date ⮕ DAG 開始的日期，必要參數 end_date ⮕ DAG 停止的日期，不必要...

Shawn ‧ 2023-10-05

0 Like 0 留言 2016 瀏覽

鐵人賽 AI & Data DAY 17

Airflow 是什麼? 能吃嗎 ? 數據水管工的超級蘑菇系列第 17 篇

技術 [Day17] Airflow 連接到 Database 的三種方法

前言連接到 Database ，應該是 Airflow 當中一定會用到的功能，畢竟我們的資料進出都需要操作資料庫，在 dag 當中是用到之前提過的MySqlO...

Shawn ‧ 2023-10-02

0 Like 0 留言 1985 瀏覽

鐵人賽 AI & Data DAY 7

Airflow 是什麼? 能吃嗎 ? 數據水管工的超級蘑菇系列第 7 篇

技術 [Day7] 30秒實作第一個 Airflow DAG

又回到最初的 Day3 還記得我們開啟了 http://localhost:8080/ 了嗎？忘記了沒關係，從頭再來一次～還沒安裝的，可以回到 Day3:快...

Shawn ‧ 2023-09-22

1 Like 0 留言 1929 瀏覽

鐵人賽 AI/ ML & Data DAY 16

資料與程式碼的交鋒 - Data Engineer 與合作夥伴的協奏曲系列第 16 篇

技術《資料與程式碼的交鋒》Day 16 - 軟體工程篇總回顧

30 天挑戰就這樣默默過了一半呢！在第二階段，我們把資料工程中重要的排程設計，透過軟體工程的角度切入探討。在過去的六篇文章中，我們探討了如何將程式碼模組化、工...

Shu-Ting | 資料科學漂流者 ‧ 2024-09-30 ‧團隊資料工程師甘苦談

1 Like 0 留言 1827 瀏覽

鐵人賽 Software Development DAY 2

用 Airflow & Flink 來開發 ETL 吧系列第 2 篇

技術 Airflow 的安裝及啟動 - Day2

主題 Airflow 是一個強大且靈活的工作流程管理工具，它可以幫助我們有效地調度和監控數據流程。為了使用 Airflow，我們需要在我們的系統上進行安裝和啟動...

kaihg1028 ‧ 2023-09-02 ‧團隊今天截止日

0 Like 0 留言 1741 瀏覽

鐵人賽 Software Development DAY 3

用 Airflow & Flink 來開發 ETL 吧系列第 3 篇

技術 Airflow DAG 是啥？ - Day3

Airflow DAG 是啥？ DAG 定義 Airflow 的核心之一，一定是 DAG (Directed Acyclic Graph，有向無環圖)。如果說其...

kaihg1028 ‧ 2023-09-03 ‧團隊今天截止日

0 Like 0 留言 1725 瀏覽

鐵人賽 AI & Data DAY 10

Airflow 是什麼? 能吃嗎 ? 數據水管工的超級蘑菇系列第 10 篇

技術 [Day10] Airflow Variable 變數的神秘魔法

Airflow 的變數是如何儲存的？ Airflow 的變數是使用 Key-Value 的方式儲存，我們可以打開任何一種資料庫工具，例如：DBeaver、Tab...

Shawn ‧ 2023-09-25

0 Like 0 留言 1651 瀏覽

鐵人賽 AI & Data DAY 11

Airflow 是什麼? 能吃嗎 ? 數據水管工的超級蘑菇系列第 11 篇

技術 [Day11] 當我們同在一起 - Airflow Task Group

TaskGroup 簡介 TaskGroup 是一種在 Airflow 中用來組織和管理多個 Task 的方法，透過將任務分類成不同群組，讓我們 DAG 當中的...

Shawn ‧ 2023-09-26

0 Like 0 留言 1608 瀏覽

鐵人賽 AI & Data DAY 12

Data pipeline 建起來！用 Airflow 開發你的 Data pipeline 系列第 12 篇

技術『Day12』Airflow DAG 介紹

今天也是在日本旅遊與鐵人競賽當中交錯，實在是十分有趣的經驗！今天看到日本許多有設計感的建築，覺得令人歎為觀止，我想除了設計的靈感之外，也需要強大的工程技術能力來...

無聊工程師 bored_engineer ‧ 2023-09-27

2 Like 1 留言 1590 瀏覽

鐵人賽 AI & Data DAY 18

Airflow 是什麼? 能吃嗎 ? 數據水管工的超級蘑菇系列第 18 篇

技術 [day18] 急！在線等！求解20 點！Airflow 安裝 Python 模組

安安～在嗎～各位大大～什麼！這種梗透露年齡了嗎～該不會大家都千禧年之後出生的吧～趕快開始今天的內容吧～ Before Install Library 建立測試...

Shawn ‧ 2023-10-03

0 Like 0 留言 1540 瀏覽

鐵人賽 AI & Data DAY 15

Data pipeline 建起來！用 Airflow 開發你的 Data pipeline 系列第 15 篇

技術『Day15』如何使用 DAG , Task

昨天晚成第一個 DAG 之後，是不是覺得有些成就感呢？不過相信也對其中許多概念仍然感覺霧煞煞吧，在今天我們會來說明一下 Airflow 的 DAG 以及 Tas...

無聊工程師 bored_engineer ‧ 2023-09-30

0 Like 0 留言 1507 瀏覽

鐵人賽 AI & Data DAY 17

Data pipeline 建起來！用 Airflow 開發你的 Data pipeline 系列第 17 篇

技術『Day17』DAG 執行方式與排程

經過前幾天的介紹，相信大家應該都有一個基本的概念輪廓，知道如何透過 Airflow DAG 建立所需要的 Data pipeline了。今天來談談 DAG 如何...

無聊工程師 bored_engineer ‧ 2023-10-02

1 Like 1 留言 1490 瀏覽

鐵人賽 AI & Data DAY 15

Airflow 是什麼? 能吃嗎 ? 數據水管工的超級蘑菇系列第 15 篇

技術 [Day15] 吃了容器果實的鯨魚拉布-Docker(2)

安裝 Docker Docker Desktop 下載 https://www.docker.com/products/docker-desktop/ Doc...

Shawn ‧ 2023-09-30

1 Like 0 留言 1489 瀏覽

鐵人賽 AI & Data DAY 14

Data pipeline 建起來！用 Airflow 開發你的 Data pipeline 系列第 14 篇

技術『Day14』第一個 Airflow Data Pipeline

安裝完環境之後，想必在讀本系列文章的你，對於開發 Data pipeline 必定是躍躍欲試！如果對 Airflow 有點熟悉的朋友，這幾天可以簡單瀏覽過或是當...

無聊工程師 bored_engineer ‧ 2023-09-29

2 Like 0 留言 1470 瀏覽

鐵人賽 AI & Data DAY 2

Airflow 是什麼? 能吃嗎 ? 數據水管工的超級蘑菇系列第 2 篇

技術 [Day2] Apache Airflow 的前世今生

從前從前 2015 年，Airbnb 發展迅速，數據量大幅提升，每天必須管理數個資料流來完成自動化，數據管控遇到困難，當時身為 Airbnb 的資料工程師 Ma...

Shawn ‧ 2023-09-17

0 Like 0 留言 1445 瀏覽

鐵人賽 AI & Data DAY 4

Airflow 是什麼? 能吃嗎 ? 數據水管工的超級蘑菇系列第 4 篇

技術 [Day4] Airflow 快樂安裝指北(Windows篇)

Step1: 安裝Ubuntu環境如果透過 VirtualBox VM 就會一點都不快樂了，所以只要安裝 Ubuntu 的終端機(terminal) 1....

Shawn ‧ 2023-09-19

0 Like 0 留言 1428 瀏覽

鐵人賽 AI & Data DAY 12

Airflow 是什麼? 能吃嗎 ? 數據水管工的超級蘑菇系列第 12 篇

技術 [Day12] 零地點突破‧改-Airflow Taskflow API(上)

前言 2020 年 12 月發布的 Apache Airflow 2.0，其中很重要的新功能就是 Taskflow API，可以讓我們更簡潔的撰寫 Airflo...

Shawn ‧ 2023-09-27

0 Like 0 留言 1407 瀏覽

鐵人賽 AI & Data DAY 22

Data pipeline 建起來！用 Airflow 開發你的 Data pipeline 系列第 22 篇

技術『Day22』Operator 介紹

在對於外部的連結之後，我們再細部介紹一下 Operator 的使用，其實在 Operator 層級也可以有不同的使用方法。Operator 本身有多種種類，其作...

無聊工程師 bored_engineer ‧ 2023-10-07