iT 邦幫忙::一起幫忙解決難題，拯救 IT 人的一天

0 Like 0 留言 464 瀏覽

鐵人賽 AI & Data DAY 14

資料工程師修煉之路 Part II 系列第 14 篇

技術 Consistency and Consensus (1) - Consistency Guarantees

終於要開始講建立分散式容錯系統會用到的演算法和協定啦！Day 14 ~ Day 20 的內容都是假設 Day 8 ~ Day 13 的鬼故事會發生，像封包遺失、...

tshine73 ‧ 2021-09-14

0 Like 0 留言 448 瀏覽

鐵人賽 AI & Data DAY 29

Data pipeline 建起來！用 Airflow 開發你的 Data pipeline 系列第 29 篇

技術『Day29』DAG 程式碼設計優化方向

不知不覺已經來到鐵人賽最後兩天了，加油！在讀本篇文章的讀者們，非常感謝你們一路的支持！在本系列的初期，我們有介紹到 Airflow 的設計概念，其中一個很重要的...

無聊工程師 bored_engineer ‧ 2023-10-14

0 Like 1 留言 444 瀏覽

鐵人賽 AI & Data DAY 18

Data pipeline 建起來！用 Airflow 開發你的 Data pipeline 系列第 18 篇

技術『Day18』帶入參數執行 DAG

在一開始學習程式的時候，覺得使用參數是件像是魔法一般的事。同樣類型的工作，編寫一次程式碼之後，就可以透過不同的參數產生不同的結果。如果有不同的維度的功能需要加入...

無聊工程師 bored_engineer ‧ 2023-10-03

0 Like 0 留言 429 瀏覽

鐵人賽 AI & Data DAY 12

Data pipeline 建起來！用 Airflow 開發你的 Data pipeline 系列第 12 篇

技術『Day12』Airflow DAG 介紹

今天也是在日本旅遊與鐵人競賽當中交錯，實在是十分有趣的經驗！今天看到日本許多有設計感的建築，覺得令人歎為觀止，我想除了設計的靈感之外，也需要強大的工程技術能力來...

無聊工程師 bored_engineer ‧ 2023-09-27

0 Like 0 留言 424 瀏覽

鐵人賽 AI & Data DAY 26

Data pipeline 建起來！用 Airflow 開發你的 Data pipeline 系列第 26 篇

技術『Day26』加入警報讓 Airflow 主動通知

上一篇跟大家分享了 Airflow 功能強大的各種 View。而這篇要來跟大家分享警報的實作方法。不同於 View 是開發者以及維運人員需要主動進行查看，警報則...

無聊工程師 bored_engineer ‧ 2023-10-11

0 Like 0 留言 418 瀏覽

鐵人賽 AI & Data DAY 11

Data pipeline 建起來！用 Airflow 開發你的 Data pipeline 系列第 11 篇

技術『Day11』Airflow 介紹

不瞞大家，這幾天其實我在日本旅遊當中，所以鐵人賽對我來說真的是很鍛鍊啊！每天有很多行程之外，結束後還是要抓緊時間寫文章，真的是極度瘋狂！但是這過程中卻也覺得十分...

無聊工程師 bored_engineer ‧ 2023-09-26

1 Like 0 留言 416 瀏覽

鐵人賽 AI & Data DAY 2

Data pipeline 建起來！用 Airflow 開發你的 Data pipeline 系列第 2 篇

技術『Day 2』什麼是 Data Engineering

記得在學生時期，我因為對於學校的選課網站操作不太習慣，於是便自己寫了一個簡單的爬蟲程式，用來自動抓取課程資訊和教師評價。經整理後，我和朋友合作設計了一個使用者友...

無聊工程師 bored_engineer ‧ 2023-09-17

0 Like 0 留言 390 瀏覽

鐵人賽 AI & Data DAY 21

Data pipeline 建起來！用 Airflow 開發你的 Data pipeline 系列第 21 篇

技術『Day21』使用 Conn、Hook 進行外部連接

到目前為止我們了解，DAG 如何建立，如何設定關聯關係，如何傳遞變數。而在Data pipeline 當中還有很重要的一個部分是與外部系統溝通。 Airflow...

無聊工程師 bored_engineer ‧ 2023-10-06

0 Like 0 留言 379 瀏覽

鐵人賽 AI & Data DAY 3

Data pipeline 建起來！用 Airflow 開發你的 Data pipeline 系列第 3 篇

技術『Day3』Data team 的組成以及資料工程師的角色

團隊的合作方式從古至今總是不斷的演變當中，雖然工程師的歷史並沒有很長，但是變化卻十分快速。就像是網站工程師一般，過去也沒有這麼細分為前端禍後端，常常每個人都是全...

無聊工程師 bored_engineer ‧ 2023-09-18

0 Like 1 留言 376 瀏覽

鐵人賽 AI & Data DAY 30

Data pipeline 建起來！用 Airflow 開發你的 Data pipeline 系列第 30 篇

技術『Day30』Data pipeline 優化以及結語

今天就是鐵人賽最後一天了，回想過去的一個月裡真的做了很多的事情，感謝鐵人賽能讓我的生活變得更豐富(爆炸？)以及充實。透過這次的鐵人賽也讓我有機會能夠整理關於 D...

無聊工程師 bored_engineer ‧ 2023-10-15

0 Like 0 留言 375 瀏覽

鐵人賽 AI & Data DAY 16

Data pipeline 建起來！用 Airflow 開發你的 Data pipeline 系列第 16 篇

技術『Day16』Relationships 關聯關係

昨天說明了 DAG 以及 Task，今天我們繼續說明另一個很重要的 Airflow 元件 -- Relationships 關聯關係。在我們做的第一個 DAG...

無聊工程師 bored_engineer ‧ 2023-10-01

0 Like 0 留言 374 瀏覽

鐵人賽 AI & Data DAY 15

Data pipeline 建起來！用 Airflow 開發你的 Data pipeline 系列第 15 篇

技術『Day15』如何使用 DAG , Task

昨天晚成第一個 DAG 之後，是不是覺得有些成就感呢？不過相信也對其中許多概念仍然感覺霧煞煞吧，在今天我們會來說明一下 Airflow 的 DAG 以及 Tas...

無聊工程師 bored_engineer ‧ 2023-09-30

0 Like 0 留言 367 瀏覽

鐵人賽 AI & Data DAY 4

Data pipeline 建起來！用 Airflow 開發你的 Data pipeline 系列第 4 篇

技術『Day4』資料工程師所需之技能

作為資料工程師，或說是負責處理資料工程的角色，我們需要具備什麼能力呢？其實從過去到現在的資料工程師的角色，隨著應用的不同以及工具的演變，資料工程師的角色默默的在...

無聊工程師 bored_engineer ‧ 2023-09-19

0 Like 0 留言 358 瀏覽

鐵人賽 AI & Data DAY 19

Data pipeline 建起來！用 Airflow 開發你的 Data pipeline 系列第 19 篇

技術『Day19』使用 XCom 進行 Task之間參數傳遞

昨天談到帶入參數執行 DAG，那如果我們那如果我們今天想要從Task 之間彼此傳遞參數呢？那就必須使用到 Airflow 中的 XCom的功能了。今天我們就來...

無聊工程師 bored_engineer ‧ 2023-10-04

0 Like 0 留言 333 瀏覽

鐵人賽 AI & Data DAY 24

Data pipeline 建起來！用 Airflow 開發你的 Data pipeline 系列第 24 篇

技術『Day24』來做個天氣資訊 DAG 吧 (下)

昨天我們建立了天氣資訊 DAG 的基本架構和流程。今天我們來繼續實作細部的 Task 工作。首先我們從 Extract Function 進行實作。實作 Ex...

無聊工程師 bored_engineer ‧ 2023-10-09

0 Like 0 留言 327 瀏覽

鐵人賽 AI & Data DAY 7

Data pipeline 建起來！用 Airflow 開發你的 Data pipeline 系列第 7 篇

技術『Day7』 Data pipeline 的種類

在建立Data pipeline 時我們常會碰到類似的場景。這邊帶大家了解一些常見的Data pipeline 類型，我們在開發Data pipeline 的時...

無聊工程師 bored_engineer ‧ 2023-09-22

0 Like 0 留言 324 瀏覽

鐵人賽 AI & Data DAY 1

Data pipeline 建起來！用 Airflow 開發你的 Data pipeline 系列第 1 篇

技術『Day1』前言

哈囉大家好，今年又不小心衝動再一次報名了鐵人賽了！這次寫的主題和上次的主題有很大的轉變，主要是因為自己因緣際會下轉換了領域，進入了 Data Engineeri...

無聊工程師 bored_engineer ‧ 2023-09-16

0 Like 1 留言 320 瀏覽

鐵人賽 AI & Data DAY 23

Data pipeline 建起來！用 Airflow 開發你的 Data pipeline 系列第 23 篇

技術『Day23』來做個天氣資訊 DAG 吧 (上)

還記得我們第一次寫的 first_dag 嗎？當時只是基本的寫了一個 DAG 的雛形，在經過這幾天更了解 DAG 各個元件之後，大家是不是覺得躍躍欲試呢，相信大...

無聊工程師 bored_engineer ‧ 2023-10-08

0 Like 0 留言 306 瀏覽

鐵人賽 AI & Data DAY 27

Data pipeline 建起來！用 Airflow 開發你的 Data pipeline 系列第 27 篇

技術『Day27』來幫 DAG 寫寫測試吧

在我們開發 weather_dag 之後，我們介紹了如何透過 View 以及警報來監控 DAG 執行的狀況。在開發之後其實還有一件非常重要的事，那就是測試，對於...

無聊工程師 bored_engineer ‧ 2023-10-12

0 Like 0 留言 304 瀏覽

鐵人賽 AI & Data DAY 6

Data pipeline 建起來！用 Airflow 開發你的 Data pipeline 系列第 6 篇

技術『Day6』 Data pipeline 介紹

管線無所不在，雖然說日常生活中常常不會注意到其存在，但是卻對我們的生活影響非常大。舉例來說，在做裝潢時，就必須要把未來房屋的使用情景進行評估。並且需要針對屋主進...

無聊工程師 bored_engineer ‧ 2023-09-21

0 Like 0 留言 301 瀏覽

鐵人賽 AI & Data DAY 3

30天胡搞瞎搞學會pyspark 系列第 3 篇

技術 [ Day 3 ] - Pyspark | 介紹 - DataFrame篇 - Data Overview

上一篇簡述了5個讀取資料的方法,是不是開始迫不及待的想要馬上開始進行Data的操作啦先別急先別急,在我們開始實際針對DataFrame 進行操作之前, 先來看看...

vivi_vey ‧ 2023-09-18

0 Like 0 留言 287 瀏覽

鐵人賽 AI & Data DAY 24

Rust 加 MLOps，你說有沒有搞頭？系列第 24 篇

技術 [Day 24] - 資料處理和特徵工程 🔢 (下) | Rust x Jupyter 資料工程 🦀

今日份 Ferris 今天 Ferris 要大展身手了！ Rust REPL REPL（讀音：REH-ple）代表 Read-Eval-Print Loop，是...

chihying ‧ 2023-10-09

0 Like 0 留言 282 瀏覽

鐵人賽 AI & Data DAY 9

30天胡搞瞎搞學會pyspark 系列第 9 篇

技術 [ Day 9 ] - Pyspark | 清理 - 字串篇-1 - 切切切 : split(), substr()

昨天講完了如何處理timestamp()的時間格式該如何處理,今天就讓我們來看看,最大宗的部分,字串！講到字串,最常使用的就是大名鼎鼎的split(),subs...

vivi_vey ‧ 2023-09-24

0 Like 0 留言 273 瀏覽

鐵人賽 AI & Data DAY 5

30天胡搞瞎搞學會pyspark 系列第 5 篇

技術 [ Day 5 ] - Pyspark | 介紹 - DataFrame篇 - Filter

過濾一些選擇,可以得到更好的資訊,或許也可以成為一個更好的人吧？就像你要找一個非常優秀的吹風機時,你也會在購物網站下一些特定的filter()讓你能夠更快速的選...

vivi_vey ‧ 2023-09-20

0 Like 0 留言 273 瀏覽

鐵人賽 AI & Data DAY 25

Data pipeline 建起來！用 Airflow 開發你的 Data pipeline 系列第 25 篇

技術『Day25』使用 View 來監控執行狀況

在前兩天中，我們開發了天氣資訊的 DAG，我們知道在軟體工程的實踐中，開發只是一個部分，開發完成之後，後續的維運、監控以及持續的修正也是非常的重要。Airflo...

無聊工程師 bored_engineer ‧ 2023-10-10

0 Like 0 留言 259 瀏覽

鐵人賽 AI & Data DAY 8

Data pipeline 建起來！用 Airflow 開發你的 Data pipeline 系列第 8 篇

技術『Day8』資料處理

在前一天跟大家分享了 Data pipeline 的種類，在每種 Data pipeline 當中多半都有資料處理的步驟。實際上在各種資料應用的場景，從資料分析...

無聊工程師 bored_engineer ‧ 2023-09-23

0 Like 0 留言 246 瀏覽

鐵人賽 AI & Data DAY 20

Data pipeline 建起來！用 Airflow 開發你的 Data pipeline 系列第 20 篇

技術『Day20』Variable 與 Template

在前兩天陸續介紹了 Airflow 如何進行參數傳遞的主題，以及 XCom 的設計及使用方法。今天接續著參數的話題來談談 Airflow Variable 及...

無聊工程師 bored_engineer ‧ 2023-10-05

0 Like 0 留言 246 瀏覽

鐵人賽 AI & Data DAY 28

Data pipeline 建起來！用 Airflow 開發你的 Data pipeline 系列第 28 篇

技術『Day28』部署 DAG

在我們開發完成 DAG 之後，通常並非一次性就結束了，隨著時間過去，需求有持續不斷的改變，而我們的程式也必須持續的修改以及優化。有一個良好的開發流程以及 CI/...

無聊工程師 bored_engineer ‧ 2023-10-13

0 Like 0 留言 230 瀏覽

鐵人賽 AI & Data DAY 4

30天胡搞瞎搞學會pyspark 系列第 4 篇

技術 [ Day 4 ] - Pyspark | 介紹 - DataFrame篇 - Select

21天可以養成一個好習慣, 但3天就可以放棄, 但我今天還是準時坐在這裡, 所以今天你的選擇是什麼呢？我們今天要來討論的是,選擇阿不是啦是select() 其實...

vivi_vey ‧ 2023-09-19

0 Like 0 留言 186 瀏覽

鐵人賽 AI & Data DAY 8

30天胡搞瞎搞學會pyspark 系列第 8 篇

技術 [ Day 8 ] - Pyspark | 清理 - 時間篇 - 2 Timestamp 轉換 : User Defined Function 的出現

在多數情況下,使用to_timestamp(),幾乎可以解決掉所有的時間轉換問題,但Data Cleaning 是永遠不會讓你好過的,那這時候可以怎麼做呢？這時...

vivi_vey ‧ 2023-09-23

技術 Consistency and Consensus (1) - Consistency Guarantees

技術 『Day29』DAG 程式碼設計優化方向

技術 『Day18』帶入參數執行 DAG

技術 『Day12』Airflow DAG 介紹

技術 『Day26』加入警報讓 Airflow 主動通知

技術 『Day11』Airflow 介紹

技術 『Day 2』什麼是 Data Engineering

技術 『Day21』使用 Conn、Hook 進行外部連接

技術 『Day3』Data team 的組成以及資料工程師的角色

技術 『Day30』Data pipeline 優化以及結語

技術 『Day16』Relationships 關聯關係

技術 『Day15』如何使用 DAG , Task

技術 『Day4』資料工程師所需之技能

技術 『Day19』使用 XCom 進行 Task之間參數傳遞

技術 『Day24』來做個天氣資訊 DAG 吧 (下)

技術 『Day7』 Data pipeline 的種類

技術 『Day1』前言

技術 『Day23』來做個天氣資訊 DAG 吧 (上)

技術 『Day27』來幫 DAG 寫寫測試吧

技術 『Day6』 Data pipeline 介紹