iT 邦幫忙::一起幫忙解決難題，拯救 IT 人的一天

0 Like 0 留言 1419 瀏覽

鐵人賽 AI & Data DAY 13

Data pipeline 建起來！用 Airflow 開發你的 Data pipeline 系列第 13 篇

技術『Day13』安裝 Airflow

剛開始學習程式的時候，對我來說最讓我感到挫折的就是環境安裝的問題。由於許多背景知識的不足，以及系統版本和程式版本非常的複雜，總是需要花上許多時間跟精力進行安裝及...

無聊工程師 bored_engineer ‧ 2023-09-28

0 Like 0 留言 925 瀏覽

鐵人賽 AI & Data DAY 12

Data pipeline 建起來！用 Airflow 開發你的 Data pipeline 系列第 12 篇

技術『Day12』Airflow DAG 介紹

今天也是在日本旅遊與鐵人競賽當中交錯，實在是十分有趣的經驗！今天看到日本許多有設計感的建築，覺得令人歎為觀止，我想除了設計的靈感之外，也需要強大的工程技術能力來...

無聊工程師 bored_engineer ‧ 2023-09-27

1 Like 0 留言 798 瀏覽

鐵人賽 AI & Data DAY 6

Airflow 是什麼? 能吃嗎 ? 數據水管工的超級蘑菇系列第 6 篇

技術 [Day6] 超級蘑菇 Airflow 的食用說明書(2)

Airflow 的基礎名詞 Hooks：鉤子/ 接口 Hooks 可以和第三方系統互動，第三方系統是什麼？就是非官方和運營方開發的系統，例如我們要把 Airfl...

Shawn ‧ 2023-09-21

1 Like 0 留言 743 瀏覽

鐵人賽 AI & Data DAY 5

Airflow 是什麼? 能吃嗎 ? 數據水管工的超級蘑菇系列第 5 篇

技術 [Day5] 超級蘑菇 Airflow 的食用說明書(1)

Workflow before Airflow 討論 Airflow 前，先問問大家有聽過 Workflow 嗎？可以翻作工作流，在資料領域，也可以稱作 Dat...

Shawn ‧ 2023-09-20

0 Like 0 留言 843 瀏覽

鐵人賽 AI & Data DAY 4

Airflow 是什麼? 能吃嗎 ? 數據水管工的超級蘑菇系列第 4 篇

技術 [Day4] Airflow 快樂安裝指北(Windows篇)

Step1: 安裝Ubuntu環境如果透過 VirtualBox VM 就會一點都不快樂了，所以只要安裝 Ubuntu 的終端機(terminal) 1....

Shawn ‧ 2023-09-19

2 Like 0 留言 1030 瀏覽

鐵人賽 AI & Data DAY 2

Airflow 是什麼? 能吃嗎 ? 數據水管工的超級蘑菇系列第 2 篇

技術 [Day2] Apache Airflow 的前世今生

從前從前 2015 年，Airbnb 發展迅速，數據量大幅提升，每天必須管理數個資料流來完成自動化，數據管控遇到困難，當時身為 Airbnb 的資料工程師 Ma...

Shawn ‧ 2023-09-17

1 Like 0 留言 515 瀏覽

鐵人賽 AI & Data DAY 1

Data pipeline 建起來！用 Airflow 開發你的 Data pipeline 系列第 1 篇

技術『Day1』前言

哈囉大家好，今年又不小心衝動再一次報名了鐵人賽了！這次寫的主題和上次的主題有很大的轉變，主要是因為自己因緣際會下轉換了領域，進入了 Data Engineeri...

無聊工程師 bored_engineer ‧ 2023-09-16

1 Like 0 留言 316 瀏覽

鐵人賽 Software Development DAY 14

用 Airflow & Flink 來開發 ETL 吧系列第 14 篇

技術 Airflow 測試遇到的package 的奇妙問題 - Day14

這篇來講一下在測試的時候遇到的問題，主要是 package 的 import issue 一般來說，我們開發的 dag 都會放在 project 下的 /dag...

kaihg1028 ‧ 2023-09-14 ‧團隊今天截止日

1 Like 0 留言 463 瀏覽

鐵人賽 Software Development DAY 13

用 Airflow & Flink 來開發 ETL 吧系列第 13 篇

技術 Airflow 單元測試的注意事項 - Day13

測試講了三天，應該可以證明我至少表面上很注重測試對吧？回來正題，在開發 Airflow 單元測試的時候，有幾件事需要注意的。 Variables Variab...

kaihg1028 ‧ 2023-09-13 ‧團隊今天截止日

0 Like 0 留言 418 瀏覽

鐵人賽 Software Development DAY 12

用 Airflow & Flink 來開發 ETL 吧系列第 12 篇

技術 Airflow 測試(二) - Day12

上一篇講了一些測試心得，這篇就來講個偏整合性的測試方法吧。 CMD 測試這是官方提供的方法，用起來也很簡單： # command layout: comman...

kaihg1028 ‧ 2023-09-12 ‧團隊今天截止日

1 Like 0 留言 457 瀏覽

鐵人賽 Software Development DAY 11

用 Airflow & Flink 來開發 ETL 吧系列第 11 篇

技術 Airflow 的單元測試 (一) - Day11

如果前面的鐵人賽每篇你都看過的話(希望你有)，可能會發現我常常提到「測試」，或是說「為了測試」。測試是非常重要的，但這裡我就先不細談，有興趣的人歡迎看看我朋友...

kaihg1028 ‧ 2023-09-11 ‧團隊今天截止日

1 Like 0 留言 442 瀏覽

鐵人賽 Software Development DAY 10

用 Airflow & Flink 來開發 ETL 吧系列第 10 篇

技術 Airflow TaskFlow 改寫 DAG - Day10

今天這段其實不是開發 Airflow 必要的部份，甚至會多增加一點麻煩。但我個人還是比較喜歡這種寫法，所以來寫一些。前面有提到 PythonOperator...

kaihg1028 ‧ 2023-09-10 ‧團隊今天截止日

1 Like 0 留言 388 瀏覽

鐵人賽 Software Development DAY 9

用 Airflow & Flink 來開發 ETL 吧系列第 9 篇

技術 Airflow 自訂 Operator - Day9

儘管Airflow提供了許多內置的運算符（Operators），但有時候我們需要根據特定需求開發自己的自定義運算符。這篇文章將介紹如何在Airflow中開發自定...

kaihg1028 ‧ 2023-09-09 ‧團隊今天截止日

1 Like 0 留言 786 瀏覽

鐵人賽 Software Development DAY 8

用 Airflow & Flink 來開發 ETL 吧系列第 8 篇

技術 Airflow Connection 設定跟使用 - Day8

ETL 大概有八成的時間，都是在跟各種儲存系統互動。不管是常見的資料庫、BigQuery，或是 Redis, Hadoop，這些本質上都是儲存系統，差別只是連接...

kaihg1028 ‧ 2023-09-08 ‧團隊今天截止日

0 Like 0 留言 838 瀏覽

鐵人賽 Modern Web DAY 1

透過 python 建立發票系統 - 自己的發票自己查系列第 1 篇

技術 Day 1 ：發票查詢系統

動機相信數位時代的各位都已經有申請過載具條碼，每天消費紀錄都會存到發票 APP，你會發現詳細記載購買項目、商家名稱、商家地址等等，但有想過這些 APP 怎麼做...

皮卡丘打排球 ‧ 2023-09-15

0 Like 0 留言 473 瀏覽

鐵人賽 Software Development DAY 7

用 Airflow & Flink 來開發 ETL 吧系列第 7 篇

技術 Airflow Variable 設定 - Day7

接下來，說說 Variable 的一些用法，先從簡單的開始 Web UI 在 web 介面裡有一個地方可以設定，如圖所示 Admin → Variables...

kaihg1028 ‧ 2023-09-07 ‧團隊今天截止日

0 Like 0 留言 611 瀏覽

鐵人賽 Software Development DAY 6

用 Airflow & Flink 來開發 ETL 吧系列第 6 篇

技術 Airflow PythonOperator(二) - Day6

Airflow PythonOperator(二) Param 今天延續上週說的 PythonOperator 的一些使用方法，除了 Variable 之外，A...

kaihg1028 ‧ 2023-09-06 ‧團隊今天截止日

1 Like 0 留言 859 瀏覽

鐵人賽 Software Development DAY 5

用 Airflow & Flink 來開發 ETL 吧系列第 5 篇

技術 Airflow PythonOperator (一) - Day5

在上一篇文章裡有提到 PythonOperator 可能是 Airflow 裡最重要的 operator 之一，那當然要花點時間來說明一下使用方法，不過其實很簡...

kaihg1028 ‧ 2023-09-05 ‧團隊今天截止日

0 Like 0 留言 819 瀏覽

鐵人賽 AI & Data DAY 1

Airflow 是什麼? 能吃嗎 ? 數據水管工的超級蘑菇系列第 1 篇

技術 [Day1] 前言

Who am I 打給厚~ 哇係 Shawn，目前是一名資料工程師，也可以叫做數據水管工，工作內容就是串接各種 API 和資料庫，然後想辦法當一名稱職的水管工，...

Shawn ‧ 2023-09-16

0 Like 1 留言 822 瀏覽

鐵人賽 Software Development DAY 4

用 Airflow & Flink 來開發 ETL 吧系列第 4 篇

技術來寫第一個 DAG 吧 - Day4

Airflow 來寫第一個 DAG 吧第一個例子現在，我們來看一個簡單但真實的Airflow DAG 例子，並介紹其中一些常見的運算符（task）。 fro...

kaihg1028 ‧ 2023-09-04 ‧團隊今天截止日

0 Like 0 留言 910 瀏覽

鐵人賽 Software Development DAY 3

用 Airflow & Flink 來開發 ETL 吧系列第 3 篇

技術 Airflow DAG 是啥？ - Day3

Airflow DAG 是啥？ DAG 定義 Airflow 的核心之一，一定是 DAG (Directed Acyclic Graph，有向無環圖)。如果說其...

kaihg1028 ‧ 2023-09-03 ‧團隊今天截止日

1 Like 0 留言 1226 瀏覽

鐵人賽 Software Development DAY 2

用 Airflow & Flink 來開發 ETL 吧系列第 2 篇

技術 Airflow 的安裝及啟動 - Day2

主題 Airflow 是一個強大且靈活的工作流程管理工具，它可以幫助我們有效地調度和監控數據流程。為了使用 Airflow，我們需要在我們的系統上進行安裝和啟動...

kaihg1028 ‧ 2023-09-02 ‧團隊今天截止日

2 Like 0 留言 2170 瀏覽

鐵人賽 Software Development DAY 1

用 Airflow & Flink 來開發 ETL 吧系列第 1 篇

技術什麼是 ETL，為什麼要做 ETL - Day1

身為一名數據工程師，每天寫 code 做的事情簡單來說，都是 ETL。 Extract、Transform、Load（ETL）是一個常用於資料庫管理和商業智能領...

kaihg1028 ‧ 2023-09-01 ‧團隊今天截止日

0 Like 0 留言 2933 瀏覽

技術 Python & Airflow 學習筆記_Operator 間的參數傳遞 XCom

本文主要在教學如何在 Airflow 當中傳遞參數，Airflow 當中提供了 XCom 來進行參數傳遞，而根據官方文檔提示，在撰寫任務流程時，要盡量保持任務的...

熊熊工程師 ‧ 2022-08-27

0 Like 0 留言 1802 瀏覽

技術 Python & Airflow 學習筆記_SQLAlchemyOperator

在 Airflow 當中有提供 PostgresOperator 這個東西，他可以直接對資料庫進行 SQL 指令的執行，不過對於已經用習慣 ORM 方式操作資料...

熊熊工程師 ‧ 2022-08-26

1 Like 0 留言 3966 瀏覽

技術 Python & Airflow 學習筆記_Schedule 以及 Trigger Rule

這篇文章主要是在討論在 Schedule 的設定以及 Trigger Rule，如果有問題歡迎留言討論一、任務排程 Schedule_Interval 在 a...

熊熊工程師 ‧ 2022-08-21

0 Like 0 留言 3013 瀏覽

技術 Python & Airflow 學習筆記_PythonOperator 和 BranchPythonOperator

這篇文章主要是在教學如何在 ariflow 中建立一個可以執行 python function 的 operator，同時也會介紹如何使用 BranchPyth...

熊熊工程師 ‧ 2022-08-21

1 Like 0 留言 6923 瀏覽

技術 Python & Airflow 學習筆記_建立簡易 Dag

這邊記錄了該如何建立一個簡易的 Dag，如果有錯誤或更好的寫法，歡迎留言討論一、Dag 定義就筆者從官方文件的理解，每個 Dag 可以代表是一個要執行的任務...

熊熊工程師 ‧ 2022-08-09

0 Like 0 留言 3868 瀏覽

技術 Python & Airflow 學習筆記_環境架設

最近接觸到 Airflow 這個工具，順便紀錄一下學習的過程，如果有錯誤歡迎留言指正本文僅限於學術用途，各項參考網址皆有附上連結，若有觸犯版權請留言告知一、設...

熊熊工程師 ‧ 2022-08-08

2 Like 0 留言 10310 瀏覽

鐵人賽 AI & Data DAY 29

Apache NiFi - 讓你輕鬆設計 Data Pipeline 系列第 29 篇

技術 Day29 NiFi 與其他工具的比較

這邊我想特別寫出這一篇的原因是當初我在學習與操作 NiFi 的過程中，我曾感到一些疑惑，會覺得感覺有些場景流程可以用像是 Apache Airflow 等工具...

Mars Su ‧ 2021-10-14

技術 『Day13』安裝 Airflow

技術 『Day12』Airflow DAG 介紹