iT 邦幫忙::一起幫忙解決難題，拯救 IT 人的一天

0 Like 0 留言 133 瀏覽

鐵人賽 DevOps DAY 15

我獨自升級：從水管工走向 DataOps 系列第 15 篇

技術【Day 15】用 Astronomer Cosmos 結合 dbt 和 Airflow - 背景介紹

I have a dbt. I have an Airflow. Ugh Astronomer Cosmos~ 圖片來源：前幾天剛發布的 Cosmos 1....

Shawn ‧ 2024-09-29

0 Like 0 留言 128 瀏覽

鐵人賽 DevOps DAY 6

我獨自升級：從水管工走向 DataOps 系列第 6 篇

技術【Day 6】Airflow 用 Slack 傳送通知 - Slack API 設定

前言通知告警在完善 data pipeline 當中是非常重要的，slack 只是其中一個方式，就像 AWS 很多服務都會設定條件用 email 通知，在設計...

Shawn ‧ 2024-09-20

0 Like 1 留言 515 瀏覽

鐵人賽 AI & Data DAY 30

Airflow 是什麼? 能吃嗎 ? 數據水管工的超級蘑菇系列第 30 篇

技術 [Day30] 台灣人必做第四件事-鐵人賽完賽結語

前言突然就到最後一天了～沒想到這麼快，過程中學到很多，也發現自己對於文章要求比想像中高，這 30 篇我覺得 90％都不符自己的標準，但也因為比賽，不得不發，...

Shawn ‧ 2023-10-15

0 Like 0 留言 1092 瀏覽

鐵人賽 AI & Data DAY 29

Airflow 是什麼? 能吃嗎 ? 數據水管工的超級蘑菇系列第 29 篇

技術 [Day29] 學海無涯，需求是岸-Airflow 資源分享

前言推薦已經五年前但仍適用的學程式到底要學什麼 by Huli，學習如何看透問題本質並解決問題，比漫無目的學習更重要，接著來分享一下我的想法～學海無涯，到...

Shawn ‧ 2023-10-14

0 Like 0 留言 633 瀏覽

鐵人賽 AI & Data DAY 28

Airflow 是什麼? 能吃嗎 ? 數據水管工的超級蘑菇系列第 28 篇

技術 [Day28] Amazon AWS EC2 免費部署 Airflow (2)

Amazon AWS EC2 連線更改 pem 檔案權限 chmod 400 airflow-ec2-key.pem 連線到 EC2 ssh -i airf...

Shawn ‧ 2023-10-13

0 Like 0 留言 314 瀏覽

鐵人賽 AI & Data DAY 26

Airflow 是什麼? 能吃嗎 ? 數據水管工的超級蘑菇系列第 26 篇

技術 [Day26] Amazon AWS MWAA 無痛部署 Airflow (2)

Managed Workflows for Apache Airflow(MWAA) 設定前面步驟在上一篇喔～設定 Virtual private cl...

Shawn ‧ 2023-10-11

0 Like 0 留言 502 瀏覽

鐵人賽 AI & Data DAY 13

Airflow 是什麼? 能吃嗎 ? 數據水管工的超級蘑菇系列第 13 篇

技術 [Day13] 零地點突破‧改-Airflow Taskflow API(下)

有鑒於昨天的實作部分，有朋友反應好像講不清楚，一下子就給 code，今天還是再針對每一個 part 來詳細說明～一、術式順轉·蒼 - 整體邏輯架構通常在寫大...

Shawn ‧ 2023-09-28

0 Like 0 留言 717 瀏覽

鐵人賽 AI & Data DAY 12

Airflow 是什麼? 能吃嗎 ? 數據水管工的超級蘑菇系列第 12 篇

技術 [Day12] 零地點突破‧改-Airflow Taskflow API(上)

前言 2020 年 12 月發布的 Apache Airflow 2.0，其中很重要的新功能就是 Taskflow API，可以讓我們更簡潔的撰寫 Airflo...

Shawn ‧ 2023-09-27

0 Like 0 留言 859 瀏覽

鐵人賽 AI & Data DAY 11

Airflow 是什麼? 能吃嗎 ? 數據水管工的超級蘑菇系列第 11 篇

技術 [Day11] 當我們同在一起 - Airflow Task Group

TaskGroup 簡介 TaskGroup 是一種在 Airflow 中用來組織和管理多個 Task 的方法，透過將任務分類成不同群組，讓我們 DAG 當中的...

Shawn ‧ 2023-09-26

0 Like 0 留言 1023 瀏覽

鐵人賽 AI & Data DAY 10

Airflow 是什麼? 能吃嗎 ? 數據水管工的超級蘑菇系列第 10 篇

技術 [Day10] Airflow Variable 變數的神秘魔法

Airflow 的變數是如何儲存的？ Airflow 的變數是使用 Key-Value 的方式儲存，我們可以打開任何一種資料庫工具，例如：DBeaver、Tab...

Shawn ‧ 2023-09-25

2 Like 0 留言 546 瀏覽

鐵人賽 AI & Data DAY 9

Airflow 是什麼? 能吃嗎 ? 數據水管工的超級蘑菇系列第 9 篇

技術 [Day9] Airflow Tasks 之間的資料間諜 XComs

今天目標最簡單的 BashOperator 已經使用過了，今天就要使用 PythonOperator 製作多個 Tasks，學習資料間諜 Xcoms 是怎麼在...

Shawn ‧ 2023-09-24

0 Like 0 留言 710 瀏覽

鐵人賽 AI & Data DAY 8

Airflow 是什麼? 能吃嗎 ? 數據水管工的超級蘑菇系列第 8 篇

技術 [Day8] 關於 Airflow Web UI 的大小事

小小前言突然收到私訊說安裝不起來，才發現前面有一些東西沒講清楚，還是建議大家直接 create 在 ~/airflow，然後虛擬環境也放在裡面，day3 的安...

Shawn ‧ 2023-09-23

0 Like 0 留言 1243 瀏覽

鐵人賽 AI & Data DAY 7

Airflow 是什麼? 能吃嗎 ? 數據水管工的超級蘑菇系列第 7 篇

技術 [Day7] 30秒實作第一個 Airflow DAG

又回到最初的 Day3 還記得我們開啟了 http://localhost:8080/ 了嗎？忘記了沒關係，從頭再來一次～還沒安裝的，可以回到 Day3:快...

Shawn ‧ 2023-09-22

0 Like 0 留言 593 瀏覽

鐵人賽 AI & Data DAY 19

Data pipeline 建起來！用 Airflow 開發你的 Data pipeline 系列第 19 篇

技術『Day19』使用 XCom 進行 Task之間參數傳遞

昨天談到帶入參數執行 DAG，那如果我們那如果我們今天想要從Task 之間彼此傳遞參數呢？那就必須使用到 Airflow 中的 XCom的功能了。今天我們就來...

無聊工程師 bored_engineer ‧ 2023-10-04

0 Like 1 留言 724 瀏覽

鐵人賽 AI & Data DAY 18

Data pipeline 建起來！用 Airflow 開發你的 Data pipeline 系列第 18 篇

技術『Day18』帶入參數執行 DAG

在一開始學習程式的時候，覺得使用參數是件像是魔法一般的事。同樣類型的工作，編寫一次程式碼之後，就可以透過不同的參數產生不同的結果。如果有不同的維度的功能需要加入...

無聊工程師 bored_engineer ‧ 2023-10-03

0 Like 0 留言 695 瀏覽

鐵人賽 AI & Data DAY 15

Data pipeline 建起來！用 Airflow 開發你的 Data pipeline 系列第 15 篇

技術『Day15』如何使用 DAG , Task

昨天晚成第一個 DAG 之後，是不是覺得有些成就感呢？不過相信也對其中許多概念仍然感覺霧煞煞吧，在今天我們會來說明一下 Airflow 的 DAG 以及 Tas...

無聊工程師 bored_engineer ‧ 2023-09-30

0 Like 0 留言 1290 瀏覽

鐵人賽 AI & Data DAY 13

Data pipeline 建起來！用 Airflow 開發你的 Data pipeline 系列第 13 篇

技術『Day13』安裝 Airflow

剛開始學習程式的時候，對我來說最讓我感到挫折的就是環境安裝的問題。由於許多背景知識的不足，以及系統版本和程式版本非常的複雜，總是需要花上許多時間跟精力進行安裝及...

無聊工程師 bored_engineer ‧ 2023-09-28

1 Like 0 留言 729 瀏覽

鐵人賽 AI & Data DAY 6

Airflow 是什麼? 能吃嗎 ? 數據水管工的超級蘑菇系列第 6 篇

技術 [Day6] 超級蘑菇 Airflow 的食用說明書(2)

Airflow 的基礎名詞 Hooks：鉤子/ 接口 Hooks 可以和第三方系統互動，第三方系統是什麼？就是非官方和運營方開發的系統，例如我們要把 Airfl...

Shawn ‧ 2023-09-21

0 Like 0 留言 788 瀏覽

鐵人賽 AI & Data DAY 11

Data pipeline 建起來！用 Airflow 開發你的 Data pipeline 系列第 11 篇

技術『Day11』Airflow 介紹

不瞞大家，這幾天其實我在日本旅遊當中，所以鐵人賽對我來說真的是很鍛鍊啊！每天有很多行程之外，結束後還是要抓緊時間寫文章，真的是極度瘋狂！但是這過程中卻也覺得十分...

無聊工程師 bored_engineer ‧ 2023-09-26

1 Like 0 留言 656 瀏覽

鐵人賽 AI & Data DAY 5

Airflow 是什麼? 能吃嗎 ? 數據水管工的超級蘑菇系列第 5 篇

技術 [Day5] 超級蘑菇 Airflow 的食用說明書(1)

Workflow before Airflow 討論 Airflow 前，先問問大家有聽過 Workflow 嗎？可以翻作工作流，在資料領域，也可以稱作 Dat...

Shawn ‧ 2023-09-20

0 Like 0 留言 1214 瀏覽

鐵人賽 AI & Data DAY 15

吵什麼 AI 煉金術？！你家有礦嗎？(資料領域必知的 30 個詞彙) 系列第 15 篇

技術 Data Fabric (& Apache Airflow, Apache Iceberg 的天作之合)

談到 Data Fabric 就是 Athemaster 炬識的主場了！（上一篇談 Data Mesh 可讓我流了很多冷汗啊）因為 Data Fabric 是...

Anna Yen ‧ 2023-09-18

0 Like 0 留言 757 瀏覽

鐵人賽 AI & Data DAY 4

Airflow 是什麼? 能吃嗎 ? 數據水管工的超級蘑菇系列第 4 篇

技術 [Day4] Airflow 快樂安裝指北(Windows篇)

Step1: 安裝Ubuntu環境如果透過 VirtualBox VM 就會一點都不快樂了，所以只要安裝 Ubuntu 的終端機(terminal) 1....

Shawn ‧ 2023-09-19

2 Like 0 留言 963 瀏覽

鐵人賽 AI & Data DAY 2

Airflow 是什麼? 能吃嗎 ? 數據水管工的超級蘑菇系列第 2 篇

技術 [Day2] Apache Airflow 的前世今生

從前從前 2015 年，Airbnb 發展迅速，數據量大幅提升，每天必須管理數個資料流來完成自動化，數據管控遇到困難，當時身為 Airbnb 的資料工程師 Ma...

Shawn ‧ 2023-09-17

0 Like 0 留言 727 瀏覽

鐵人賽 AI & Data DAY 1

Airflow 是什麼? 能吃嗎 ? 數據水管工的超級蘑菇系列第 1 篇

技術 [Day1] 前言

Who am I 打給厚~ 哇係 Shawn，目前是一名資料工程師，也可以叫做數據水管工，工作內容就是串接各種 API 和資料庫，然後想辦法當一名稱職的水管工，...

Shawn ‧ 2023-09-16

技術 【Day 15】用 Astronomer Cosmos 結合 dbt 和 Airflow - 背景介紹

技術 【Day 6】Airflow 用 Slack 傳送通知 - Slack API 設定