iT 邦幫忙::一起幫忙解決難題，拯救 IT 人的一天

1 Like 0 留言 1142 瀏覽

鐵人賽 AI & Data DAY 16

Airflow 是什麼? 能吃嗎 ? 數據水管工的超級蘑菇系列第 16 篇

技術 [Day16] 用 Docker Compose 建立 Airflow 環境

什麼是 Docker Compose Compose 是組合或組成的意思，Docker Compose 就是代表組合多個 Docker 容器，可以直接用 YAM...

Shawn ‧ 2023-10-01

0 Like 0 留言 363 瀏覽

鐵人賽 AI & Data DAY 16

Data pipeline 建起來！用 Airflow 開發你的 Data pipeline 系列第 16 篇

技術『Day16』Relationships 關聯關係

昨天說明了 DAG 以及 Task，今天我們繼續說明另一個很重要的 Airflow 元件 -- Relationships 關聯關係。在我們做的第一個 DAG...

無聊工程師 bored_engineer ‧ 2023-10-01

1 Like 1 留言 333 瀏覽

鐵人賽 AI & Data DAY 15

Airflow 是什麼? 能吃嗎 ? 數據水管工的超級蘑菇系列第 15 篇

技術 [Day15] 吃了容器果實的鯨魚拉布-Docker(2)

安裝 Docker Docker Desktop 下載 https://www.docker.com/products/docker-desktop/ Doc...

Shawn ‧ 2023-09-30

0 Like 0 留言 364 瀏覽

鐵人賽 AI & Data DAY 15

Data pipeline 建起來！用 Airflow 開發你的 Data pipeline 系列第 15 篇

技術『Day15』如何使用 DAG , Task

昨天晚成第一個 DAG 之後，是不是覺得有些成就感呢？不過相信也對其中許多概念仍然感覺霧煞煞吧，在今天我們會來說明一下 Airflow 的 DAG 以及 Tas...

無聊工程師 bored_engineer ‧ 2023-09-30

1 Like 0 留言 168 瀏覽

鐵人賽 Software Development DAY 30

用 Airflow & Flink 來開發 ETL 吧系列第 30 篇

技術利用 Github Action 來做 CI 吧 - Day30

終於來到最後一篇了，我們前面寫了這麼多程式跟測試，那要什麼時候執行測試？理論上，你隨時都應該做。特別是 merge branch 回 develop 的時候。...

kaihg1028 ‧ 2023-09-30 ‧團隊今天截止日

1 Like 0 留言 365 瀏覽

鐵人賽 AI & Data DAY 14

Airflow 是什麼? 能吃嗎 ? 數據水管工的超級蘑菇系列第 14 篇

技術 [Day14] 吃了容器果實的鯨魚拉布-Docker(1)

前言之前很多鐵人賽都有談過 docker ，想要很完整系統性的學 docker，都可以參考下方連結：1. 30 天與鯨魚先生做好朋友2. 那些關於 dock...

Shawn ‧ 2023-09-29

1 Like 0 留言 173 瀏覽

鐵人賽 Software Development DAY 29

用 Airflow & Flink 來開發 ETL 吧系列第 29 篇

技術來用 TDD 開發 Airflow DAG 吧 - Day29

TDD（測試驅動開發 Test Driven Develop）是一種軟體開發方法，它要求在編寫任何程式碼之前，先撰寫測試案例。這樣可以確保程式碼的品質和可靠性，...

kaihg1028 ‧ 2023-09-29 ‧團隊今天截止日

0 Like 0 留言 463 瀏覽

鐵人賽 AI & Data DAY 14

Data pipeline 建起來！用 Airflow 開發你的 Data pipeline 系列第 14 篇

技術『Day14』第一個 Airflow Data Pipeline

安裝完環境之後，想必在讀本系列文章的你，對於開發 Data pipeline 必定是躍躍欲試！如果對 Airflow 有點熟悉的朋友，這幾天可以簡單瀏覽過或是當...

無聊工程師 bored_engineer ‧ 2023-09-29

0 Like 0 留言 263 瀏覽

鐵人賽 AI & Data DAY 13

Airflow 是什麼? 能吃嗎 ? 數據水管工的超級蘑菇系列第 13 篇

技術 [Day13] 零地點突破‧改-Airflow Taskflow API(下)

有鑒於昨天的實作部分，有朋友反應好像講不清楚，一下子就給 code，今天還是再針對每一個 part 來詳細說明～一、術式順轉·蒼 - 整體邏輯架構通常在寫大...

Shawn ‧ 2023-09-28

0 Like 0 留言 290 瀏覽

鐵人賽 Software Development DAY 28

用 Airflow & Flink 來開發 ETL 吧系列第 28 篇

技術讓 Airflow 呼叫 Flink - Day28

我們前面講了 Airflow 跟 Flink 的一些基礎觀念跟開發，現在讓我們整理一下兩邊的差異。首先，Airflow 是一個優秀的排程管理工具，它有自己的...

kaihg1028 ‧ 2023-09-28 ‧團隊今天截止日

0 Like 0 留言 669 瀏覽

鐵人賽 AI & Data DAY 13

Data pipeline 建起來！用 Airflow 開發你的 Data pipeline 系列第 13 篇

技術『Day13』安裝 Airflow

剛開始學習程式的時候，對我來說最讓我感到挫折的就是環境安裝的問題。由於許多背景知識的不足，以及系統版本和程式版本非常的複雜，總是需要花上許多時間跟精力進行安裝及...

無聊工程師 bored_engineer ‧ 2023-09-28

0 Like 0 留言 396 瀏覽

鐵人賽 AI & Data DAY 12

Airflow 是什麼? 能吃嗎 ? 數據水管工的超級蘑菇系列第 12 篇

技術 [Day12] 零地點突破‧改-Airflow Taskflow API(上)

前言 2020 年 12 月發布的 Apache Airflow 2.0，其中很重要的新功能就是 Taskflow API，可以讓我們更簡潔的撰寫 Airflo...

Shawn ‧ 2023-09-27

0 Like 0 留言 446 瀏覽

鐵人賽 Software Development DAY 27

用 Airflow & Flink 來開發 ETL 吧系列第 27 篇

技術 Airflow 的 XCom 與限制 - Day27

雖然已經到尾聲了，但我發現有個重要的 Airflow 元件沒有提到，所以必須來補這篇。 Airflow XCom 是一種在不同的 task 之間傳遞資料的機制，...

kaihg1028 ‧ 2023-09-27 ‧團隊今天截止日

0 Like 0 留言 412 瀏覽

鐵人賽 AI & Data DAY 12

Data pipeline 建起來！用 Airflow 開發你的 Data pipeline 系列第 12 篇

技術『Day12』Airflow DAG 介紹

今天也是在日本旅遊與鐵人競賽當中交錯，實在是十分有趣的經驗！今天看到日本許多有設計感的建築，覺得令人歎為觀止，我想除了設計的靈感之外，也需要強大的工程技術能力來...

無聊工程師 bored_engineer ‧ 2023-09-27

0 Like 0 留言 538 瀏覽

鐵人賽 AI & Data DAY 11

Airflow 是什麼? 能吃嗎 ? 數據水管工的超級蘑菇系列第 11 篇

技術 [Day11] 當我們同在一起 - Airflow Task Group

TaskGroup 簡介 TaskGroup 是一種在 Airflow 中用來組織和管理多個 Task 的方法，透過將任務分類成不同群組，讓我們 DAG 當中的...

Shawn ‧ 2023-09-26

0 Like 0 留言 525 瀏覽

鐵人賽 AI & Data DAY 10

Airflow 是什麼? 能吃嗎 ? 數據水管工的超級蘑菇系列第 10 篇

技術 [Day10] Airflow Variable 變數的神秘魔法

Airflow 的變數是如何儲存的？ Airflow 的變數是使用 Key-Value 的方式儲存，我們可以打開任何一種資料庫工具，例如：DBeaver、Tab...

Shawn ‧ 2023-09-25

2 Like 0 留言 354 瀏覽

鐵人賽 AI & Data DAY 9

Airflow 是什麼? 能吃嗎 ? 數據水管工的超級蘑菇系列第 9 篇

技術 [Day9] Airflow Tasks 之間的資料間諜 XComs

今天目標最簡單的 BashOperator 已經使用過了，今天就要使用 PythonOperator 製作多個 Tasks，學習資料間諜 Xcoms 是怎麼在...

Shawn ‧ 2023-09-24

0 Like 0 留言 382 瀏覽

鐵人賽 AI & Data DAY 8

Airflow 是什麼? 能吃嗎 ? 數據水管工的超級蘑菇系列第 8 篇

技術 [Day8] 關於 Airflow Web UI 的大小事

小小前言突然收到私訊說安裝不起來，才發現前面有一些東西沒講清楚，還是建議大家直接 create 在 ~/airflow，然後虛擬環境也放在裡面，day3 的安...

Shawn ‧ 2023-09-23

0 Like 0 留言 591 瀏覽

鐵人賽 AI & Data DAY 7

Airflow 是什麼? 能吃嗎 ? 數據水管工的超級蘑菇系列第 7 篇

技術 [Day7] 30秒實作第一個 Airflow DAG

又回到最初的 Day3 還記得我們開啟了 http://localhost:8080/ 了嗎？忘記了沒關係，從頭再來一次～還沒安裝的，可以回到 Day3:快...

Shawn ‧ 2023-09-22

1 Like 0 留言 407 瀏覽

鐵人賽 AI & Data DAY 6

Airflow 是什麼? 能吃嗎 ? 數據水管工的超級蘑菇系列第 6 篇

技術 [Day6] 超級蘑菇 Airflow 的食用說明書(2)

Airflow 的基礎名詞 Hooks：鉤子/ 接口 Hooks 可以和第三方系統互動，第三方系統是什麼？就是非官方和運營方開發的系統，例如我們要把 Airfl...

Shawn ‧ 2023-09-21

1 Like 0 留言 365 瀏覽

鐵人賽 AI & Data DAY 5

Airflow 是什麼? 能吃嗎 ? 數據水管工的超級蘑菇系列第 5 篇

技術 [Day5] 超級蘑菇 Airflow 的食用說明書(1)

Workflow before Airflow 討論 Airflow 前，先問問大家有聽過 Workflow 嗎？可以翻作工作流，在資料領域，也可以稱作 Dat...

Shawn ‧ 2023-09-20

0 Like 0 留言 434 瀏覽

鐵人賽 AI & Data DAY 4

Airflow 是什麼? 能吃嗎 ? 數據水管工的超級蘑菇系列第 4 篇

技術 [Day4] Airflow 快樂安裝指北(Windows篇)

Step1: 安裝Ubuntu環境如果透過 VirtualBox VM 就會一點都不快樂了，所以只要安裝 Ubuntu 的終端機(terminal) 1....

Shawn ‧ 2023-09-19

2 Like 0 留言 532 瀏覽

鐵人賽 AI & Data DAY 2

Airflow 是什麼? 能吃嗎 ? 數據水管工的超級蘑菇系列第 2 篇

技術 [Day2] Apache Airflow 的前世今生

從前從前 2015 年，Airbnb 發展迅速，數據量大幅提升，每天必須管理數個資料流來完成自動化，數據管控遇到困難，當時身為 Airbnb 的資料工程師 Ma...

Shawn ‧ 2023-09-17

0 Like 0 留言 458 瀏覽

鐵人賽 AI & Data DAY 1

Airflow 是什麼? 能吃嗎 ? 數據水管工的超級蘑菇系列第 1 篇

技術 [Day1] 前言

Who am I 打給厚~ 哇係 Shawn，目前是一名資料工程師，也可以叫做數據水管工，工作內容就是串接各種 API 和資料庫，然後想辦法當一名稱職的水管工，...

Shawn ‧ 2023-09-16

0 Like 0 留言 318 瀏覽

鐵人賽 AI & Data DAY 1

Data pipeline 建起來！用 Airflow 開發你的 Data pipeline 系列第 1 篇

技術『Day1』前言

哈囉大家好，今年又不小心衝動再一次報名了鐵人賽了！這次寫的主題和上次的主題有很大的轉變，主要是因為自己因緣際會下轉換了領域，進入了 Data Engineeri...

無聊工程師 bored_engineer ‧ 2023-09-16

0 Like 0 留言 477 瀏覽

鐵人賽 Modern Web DAY 1

透過 python 建立發票系統 - 自己的發票自己查系列第 1 篇

技術 Day 1 ：發票查詢系統

動機相信數位時代的各位都已經有申請過載具條碼，每天消費紀錄都會存到發票 APP，你會發現詳細記載購買項目、商家名稱、商家地址等等，但有想過這些 APP 怎麼做...

皮卡丘打排球 ‧ 2023-09-15

1 Like 0 留言 156 瀏覽

鐵人賽 Software Development DAY 14

用 Airflow & Flink 來開發 ETL 吧系列第 14 篇

技術 Airflow 測試遇到的package 的奇妙問題 - Day14

這篇來講一下在測試的時候遇到的問題，主要是 package 的 import issue 一般來說，我們開發的 dag 都會放在 project 下的 /dag...

kaihg1028 ‧ 2023-09-14 ‧團隊今天截止日

1 Like 0 留言 289 瀏覽

鐵人賽 Software Development DAY 13

用 Airflow & Flink 來開發 ETL 吧系列第 13 篇

技術 Airflow 單元測試的注意事項 - Day13

測試講了三天，應該可以證明我至少表面上很注重測試對吧？回來正題，在開發 Airflow 單元測試的時候，有幾件事需要注意的。 Variables Variab...

kaihg1028 ‧ 2023-09-13 ‧團隊今天截止日

0 Like 0 留言 236 瀏覽

鐵人賽 Software Development DAY 12

用 Airflow & Flink 來開發 ETL 吧系列第 12 篇

技術 Airflow 測試(二) - Day12

上一篇講了一些測試心得，這篇就來講個偏整合性的測試方法吧。 CMD 測試這是官方提供的方法，用起來也很簡單： # command layout: comman...

kaihg1028 ‧ 2023-09-12 ‧團隊今天截止日

1 Like 0 留言 275 瀏覽

鐵人賽 Software Development DAY 11

用 Airflow & Flink 來開發 ETL 吧系列第 11 篇

技術 Airflow 的單元測試 (一) - Day11

如果前面的鐵人賽每篇你都看過的話(希望你有)，可能會發現我常常提到「測試」，或是說「為了測試」。測試是非常重要的，但這裡我就先不細談，有興趣的人歡迎看看我朋友...

kaihg1028 ‧ 2023-09-11 ‧團隊今天截止日