iT 邦幫忙::一起幫忙解決難題，拯救 IT 人的一天

1 Like 0 留言 8815 瀏覽

鐵人賽 AI & Data DAY 29

Apache NiFi - 讓你輕鬆設計 Data Pipeline 系列第 29 篇

技術 Day29 NiFi 與其他工具的比較

這邊我想特別寫出這一篇的原因是當初我在學習與操作 NiFi 的過程中，我曾感到一些疑惑，會覺得感覺有些場景流程可以用像是 Apache Airflow 等工具...

Mars Su ‧ 2021-10-14

1 Like 0 留言 5692 瀏覽

技術 Python & Airflow 學習筆記_建立簡易 Dag

這邊記錄了該如何建立一個簡易的 Dag，如果有錯誤或更好的寫法，歡迎留言討論一、Dag 定義就筆者從官方文件的理解，每個 Dag 可以代表是一個要執行的任務...

熊熊工程師 ‧ 2022-08-09

0 Like 0 留言 3445 瀏覽

技術 Python & Airflow 學習筆記_環境架設

最近接觸到 Airflow 這個工具，順便紀錄一下學習的過程，如果有錯誤歡迎留言指正本文僅限於學術用途，各項參考網址皆有附上連結，若有觸犯版權請留言告知一、設...

熊熊工程師 ‧ 2022-08-08

1 Like 0 留言 3293 瀏覽

技術 Python & Airflow 學習筆記_Schedule 以及 Trigger Rule

這篇文章主要是在討論在 Schedule 的設定以及 Trigger Rule，如果有問題歡迎留言討論一、任務排程 Schedule_Interval 在 a...

熊熊工程師 ‧ 2022-08-21

0 Like 0 留言 2517 瀏覽

技術 Python & Airflow 學習筆記_PythonOperator 和 BranchPythonOperator

這篇文章主要是在教學如何在 ariflow 中建立一個可以執行 python function 的 operator，同時也會介紹如何使用 BranchPyth...

熊熊工程師 ‧ 2022-08-21

0 Like 0 留言 2489 瀏覽

技術 Python & Airflow 學習筆記_Operator 間的參數傳遞 XCom

本文主要在教學如何在 Airflow 當中傳遞參數，Airflow 當中提供了 XCom 來進行參數傳遞，而根據官方文檔提示，在撰寫任務流程時，要盡量保持任務的...

熊熊工程師 ‧ 2022-08-27

0 Like 0 留言 1594 瀏覽

技術 Python & Airflow 學習筆記_SQLAlchemyOperator

在 Airflow 當中有提供 PostgresOperator 這個東西，他可以直接對資料庫進行 SQL 指令的執行，不過對於已經用習慣 ORM 方式操作資料...

熊熊工程師 ‧ 2022-08-26

1 Like 0 留言 1140 瀏覽

鐵人賽 AI & Data DAY 16

Airflow 是什麼? 能吃嗎 ? 數據水管工的超級蘑菇系列第 16 篇

技術 [Day16] 用 Docker Compose 建立 Airflow 環境

什麼是 Docker Compose Compose 是組合或組成的意思，Docker Compose 就是代表組合多個 Docker 容器，可以直接用 YAM...

Shawn ‧ 2023-10-01

2 Like 0 留言 961 瀏覽

鐵人賽 Software Development DAY 1

用 Airflow & Flink 來開發 ETL 吧系列第 1 篇

技術什麼是 ETL，為什麼要做 ETL - Day1

身為一名數據工程師，每天寫 code 做的事情簡單來說，都是 ETL。 Extract、Transform、Load（ETL）是一個常用於資料庫管理和商業智能領...

kaihg1028 ‧ 2023-09-01 ‧團隊今天截止日

0 Like 0 留言 666 瀏覽

鐵人賽 AI & Data DAY 13

Data pipeline 建起來！用 Airflow 開發你的 Data pipeline 系列第 13 篇

技術『Day13』安裝 Airflow

剛開始學習程式的時候，對我來說最讓我感到挫折的就是環境安裝的問題。由於許多背景知識的不足，以及系統版本和程式版本非常的複雜，總是需要花上許多時間跟精力進行安裝及...

無聊工程師 bored_engineer ‧ 2023-09-28

1 Like 0 留言 597 瀏覽

鐵人賽 Software Development DAY 2

用 Airflow & Flink 來開發 ETL 吧系列第 2 篇

技術 Airflow 的安裝及啟動 - Day2

主題 Airflow 是一個強大且靈活的工作流程管理工具，它可以幫助我們有效地調度和監控數據流程。為了使用 Airflow，我們需要在我們的系統上進行安裝和啟動...

kaihg1028 ‧ 2023-09-02 ‧團隊今天截止日

0 Like 1 留言 595 瀏覽

鐵人賽 AI & Data DAY 20

Airflow 是什麼? 能吃嗎 ? 數據水管工的超級蘑菇系列第 20 篇

技術 [Day20] Airflow Scheduler 排程爬坑筆記(下)

Airflow 時間變數的地雷區 Before 地雷 start_date ⮕ DAG 開始的日期，必要參數 end_date ⮕ DAG 停止的日期，不必要...

Shawn ‧ 2023-10-05

0 Like 0 留言 590 瀏覽

鐵人賽 AI & Data DAY 7

Airflow 是什麼? 能吃嗎 ? 數據水管工的超級蘑菇系列第 7 篇

技術 [Day7] 30秒實作第一個 Airflow DAG

又回到最初的 Day3 還記得我們開啟了 http://localhost:8080/ 了嗎？忘記了沒關係，從頭再來一次～還沒安裝的，可以回到 Day3:快...

Shawn ‧ 2023-09-22

0 Like 0 留言 536 瀏覽

鐵人賽 AI & Data DAY 11

Airflow 是什麼? 能吃嗎 ? 數據水管工的超級蘑菇系列第 11 篇

技術 [Day11] 當我們同在一起 - Airflow Task Group

TaskGroup 簡介 TaskGroup 是一種在 Airflow 中用來組織和管理多個 Task 的方法，透過將任務分類成不同群組，讓我們 DAG 當中的...

Shawn ‧ 2023-09-26

2 Like 0 留言 531 瀏覽

鐵人賽 AI & Data DAY 2

Airflow 是什麼? 能吃嗎 ? 數據水管工的超級蘑菇系列第 2 篇

技術 [Day2] Apache Airflow 的前世今生

從前從前 2015 年，Airbnb 發展迅速，數據量大幅提升，每天必須管理數個資料流來完成自動化，數據管控遇到困難，當時身為 Airbnb 的資料工程師 Ma...

Shawn ‧ 2023-09-17

0 Like 0 留言 531 瀏覽

鐵人賽 AI & Data DAY 22

Data pipeline 建起來！用 Airflow 開發你的 Data pipeline 系列第 22 篇

技術『Day22』Operator 介紹

在對於外部的連結之後，我們再細部介紹一下 Operator 的使用，其實在 Operator 層級也可以有不同的使用方法。Operator 本身有多種種類，其作...

無聊工程師 bored_engineer ‧ 2023-10-07

0 Like 0 留言 523 瀏覽

鐵人賽 AI & Data DAY 10

Airflow 是什麼? 能吃嗎 ? 數據水管工的超級蘑菇系列第 10 篇

技術 [Day10] Airflow Variable 變數的神秘魔法

Airflow 的變數是如何儲存的？ Airflow 的變數是使用 Key-Value 的方式儲存，我們可以打開任何一種資料庫工具，例如：DBeaver、Tab...

Shawn ‧ 2023-09-25

1 Like 1 留言 491 瀏覽

鐵人賽 AI & Data DAY 21

Airflow 是什麼? 能吃嗎 ? 數據水管工的超級蘑菇系列第 21 篇

技術 [Day21] 坐上 Airflow 時光機回到過去-Catchup 和 Backfill

今日練習程式 import pendulum from datetime import datetime import requests from airflo...

Shawn ‧ 2023-10-06

0 Like 0 留言 477 瀏覽

鐵人賽 Modern Web DAY 1

透過 python 建立發票系統 - 自己的發票自己查系列第 1 篇

技術 Day 1 ：發票查詢系統

動機相信數位時代的各位都已經有申請過載具條碼，每天消費紀錄都會存到發票 APP，你會發現詳細記載購買項目、商家名稱、商家地址等等，但有想過這些 APP 怎麼做...

皮卡丘打排球 ‧ 2023-09-15

0 Like 0 留言 471 瀏覽

鐵人賽 AI & Data DAY 17

Data pipeline 建起來！用 Airflow 開發你的 Data pipeline 系列第 17 篇

技術『Day17』DAG 執行方式與排程

經過前幾天的介紹，相信大家應該都有一個基本的概念輪廓，知道如何透過 Airflow DAG 建立所需要的 Data pipeline了。今天來談談 DAG 如何...

無聊工程師 bored_engineer ‧ 2023-10-02

1 Like 0 留言 470 瀏覽

鐵人賽 AI & Data DAY 19

Airflow 是什麼? 能吃嗎 ? 數據水管工的超級蘑菇系列第 19 篇

技術 [Day19] Airflow Scheduler 排程爬坑筆記(上)

Before 爬坑 Today Practice 今天繼續使用昨天的安裝模組的 code，簡單好用～ import requests from datetime...

Shawn ‧ 2023-10-04

0 Like 0 留言 462 瀏覽

鐵人賽 AI & Data DAY 14

Data pipeline 建起來！用 Airflow 開發你的 Data pipeline 系列第 14 篇

技術『Day14』第一個 Airflow Data Pipeline

安裝完環境之後，想必在讀本系列文章的你，對於開發 Data pipeline 必定是躍躍欲試！如果對 Airflow 有點熟悉的朋友，這幾天可以簡單瀏覽過或是當...

無聊工程師 bored_engineer ‧ 2023-09-29

1 Like 0 留言 459 瀏覽

鐵人賽 Software Development DAY 5

用 Airflow & Flink 來開發 ETL 吧系列第 5 篇

技術 Airflow PythonOperator (一) - Day5

在上一篇文章裡有提到 PythonOperator 可能是 Airflow 裡最重要的 operator 之一，那當然要花點時間來說明一下使用方法，不過其實很簡...

kaihg1028 ‧ 2023-09-05 ‧團隊今天截止日

0 Like 0 留言 458 瀏覽

鐵人賽 AI & Data DAY 1

Airflow 是什麼? 能吃嗎 ? 數據水管工的超級蘑菇系列第 1 篇

技術 [Day1] 前言

Who am I 打給厚~ 哇係 Shawn，目前是一名資料工程師，也可以叫做數據水管工，工作內容就是串接各種 API 和資料庫，然後想辦法當一名稱職的水管工，...

Shawn ‧ 2023-09-16

0 Like 0 留言 445 瀏覽

鐵人賽 Software Development DAY 27

用 Airflow & Flink 來開發 ETL 吧系列第 27 篇

技術 Airflow 的 XCom 與限制 - Day27

雖然已經到尾聲了，但我發現有個重要的 Airflow 元件沒有提到，所以必須來補這篇。 Airflow XCom 是一種在不同的 task 之間傳遞資料的機制，...

kaihg1028 ‧ 2023-09-27 ‧團隊今天截止日

1 Like 0 留言 442 瀏覽

鐵人賽 Software Development DAY 8

用 Airflow & Flink 來開發 ETL 吧系列第 8 篇

技術 Airflow Connection 設定跟使用 - Day8

ETL 大概有八成的時間，都是在跟各種儲存系統互動。不管是常見的資料庫、BigQuery，或是 Redis, Hadoop，這些本質上都是儲存系統，差別只是連接...

kaihg1028 ‧ 2023-09-08 ‧團隊今天截止日

0 Like 0 留言 433 瀏覽

鐵人賽 AI & Data DAY 4

Airflow 是什麼? 能吃嗎 ? 數據水管工的超級蘑菇系列第 4 篇

技術 [Day4] Airflow 快樂安裝指北(Windows篇)

Step1: 安裝Ubuntu環境如果透過 VirtualBox VM 就會一點都不快樂了，所以只要安裝 Ubuntu 的終端機(terminal) 1....

Shawn ‧ 2023-09-19

0 Like 0 留言 427 瀏覽

鐵人賽 Modern Web DAY 22

透過 python 建立發票系統 - 自己的發票自己查系列第 22 篇

技術 Day 22：如何用 docker 架設 Airflow - 1

架設 Airflow 步驟比較複雜，今天這篇先聚焦於 docker-compose 如何寫決定 Airflow 的 Database 我的版本選定 2.2.4...

皮卡丘打排球 ‧ 2023-10-06

0 Like 0 留言 426 瀏覽

鐵人賽 Software Development DAY 3

用 Airflow & Flink 來開發 ETL 吧系列第 3 篇

技術 Airflow DAG 是啥？ - Day3

Airflow DAG 是啥？ DAG 定義 Airflow 的核心之一，一定是 DAG (Directed Acyclic Graph，有向無環圖)。如果說其...

kaihg1028 ‧ 2023-09-03 ‧團隊今天截止日

0 Like 0 留言 423 瀏覽