iT 邦幫忙::一起幫忙解決難題，拯救 IT 人的一天

0 Like 0 留言 751 瀏覽

鐵人賽 AI & Data DAY 21

Data pipeline 建起來！用 Airflow 開發你的 Data pipeline 系列第 21 篇

技術『Day21』使用 Conn、Hook 進行外部連接

到目前為止我們了解，DAG 如何建立，如何設定關聯關係，如何傳遞變數。而在Data pipeline 當中還有很重要的一個部分是與外部系統溝通。 Airflow...

無聊工程師 bored_engineer ‧ 2023-10-06

0 Like 0 留言 310 瀏覽

鐵人賽 AI & Data DAY 12

30天胡搞瞎搞學會pyspark 系列第 12 篇

技術 [ Day 12 ] - Pyspark | 清理 - 特殊資料型態篇 - Array : explode()

啊今天先來簡單介紹一下什麼事ArrayType()ArrayType()主要是將Array放入整個dataframe 中,然後Do Re Mi So你的Data...

vivi_vey ‧ 2023-09-27

0 Like 0 留言 328 瀏覽

鐵人賽 AI & Data DAY 10

30天胡搞瞎搞學會pyspark 系列第 10 篇

技術 [ Day 10 ] - Pyspark | 清理 - 字串篇-2.1 : 正規表示式科普( regular expression )

終於進入雙位數了我好感動,每日日更不存稿,讓我下定決心,以後要做這種奇奇怪怪的挑戰前,千萬要深思熟慮好好存稿,不然每天的內容都讓自己想哭好啦那還是來進入正題吧！...

vivi_vey ‧ 2023-09-25

0 Like 0 留言 328 瀏覽

鐵人賽 AI & Data DAY 10

30天胡搞瞎搞學會pyspark 系列第 10 篇

技術 [ Day 10 ] - Pyspark | 清理 - 字串篇-2.1 : 正規表示式科普( regular expression )

終於進入雙位數了我好感動,每日日更不存稿,讓我下定決心,以後要做這種奇奇怪怪的挑戰前,千萬要深思熟慮好好存稿,不然每天的內容都讓自己想哭好啦那還是來進入正題吧！...

vivi_vey ‧ 2023-09-25

0 Like 0 留言 501 瀏覽

鐵人賽 AI & Data DAY 9

30天胡搞瞎搞學會pyspark 系列第 9 篇

技術 [ Day 9 ] - Pyspark | 清理 - 字串篇-1 - 切切切 : split(), substr()

昨天講完了如何處理timestamp()的時間格式該如何處理,今天就讓我們來看看,最大宗的部分,字串！講到字串,最常使用的就是大名鼎鼎的split(),subs...

vivi_vey ‧ 2023-09-24

0 Like 0 留言 359 瀏覽

鐵人賽 AI & Data DAY 8

30天胡搞瞎搞學會pyspark 系列第 8 篇

技術 [ Day 8 ] - Pyspark | 清理 - 時間篇 - 2 Timestamp 轉換 : User Defined Function 的出現

在多數情況下,使用to_timestamp(),幾乎可以解決掉所有的時間轉換問題,但Data Cleaning 是永遠不會讓你好過的,那這時候可以怎麼做呢？這時...

vivi_vey ‧ 2023-09-23

0 Like 0 留言 550 瀏覽

鐵人賽 AI & Data DAY 20

Data pipeline 建起來！用 Airflow 開發你的 Data pipeline 系列第 20 篇

技術『Day20』Variable 與 Template

在前兩天陸續介紹了 Airflow 如何進行參數傳遞的主題，以及 XCom 的設計及使用方法。今天接續著參數的話題來談談 Airflow Variable 及...

無聊工程師 bored_engineer ‧ 2023-10-05

0 Like 0 留言 377 瀏覽

鐵人賽 AI & Data DAY 7

30天胡搞瞎搞學會pyspark 系列第 7 篇

技術 [ Day 7 ] - Pyspark | 清理 - 時間篇 - 1 : Timestamp 轉換 : to_timestamp()

各種各樣的轉換,時間今天是星期五,應該是容許水一天的吧 1. to_timestamp(col,format) 基本上就是針對日期格式做相對應的轉換！詳細情...

vivi_vey ‧ 2023-09-22

0 Like 0 留言 649 瀏覽

鐵人賽 AI & Data DAY 19

Data pipeline 建起來！用 Airflow 開發你的 Data pipeline 系列第 19 篇

技術『Day19』使用 XCom 進行 Task之間參數傳遞

昨天談到帶入參數執行 DAG，那如果我們那如果我們今天想要從Task 之間彼此傳遞參數呢？那就必須使用到 Airflow 中的 XCom的功能了。今天我們就來...

無聊工程師 bored_engineer ‧ 2023-10-04

0 Like 1 留言 841 瀏覽

鐵人賽 AI & Data DAY 18

Data pipeline 建起來！用 Airflow 開發你的 Data pipeline 系列第 18 篇

技術『Day18』帶入參數執行 DAG

在一開始學習程式的時候，覺得使用參數是件像是魔法一般的事。同樣類型的工作，編寫一次程式碼之後，就可以透過不同的參數產生不同的結果。如果有不同的維度的功能需要加入...

無聊工程師 bored_engineer ‧ 2023-10-03

0 Like 0 留言 822 瀏覽

鐵人賽 AI & Data DAY 17

Data pipeline 建起來！用 Airflow 開發你的 Data pipeline 系列第 17 篇

技術『Day17』DAG 執行方式與排程

經過前幾天的介紹，相信大家應該都有一個基本的概念輪廓，知道如何透過 Airflow DAG 建立所需要的 Data pipeline了。今天來談談 DAG 如何...

無聊工程師 bored_engineer ‧ 2023-10-02

0 Like 0 留言 733 瀏覽

鐵人賽 AI & Data DAY 16

Data pipeline 建起來！用 Airflow 開發你的 Data pipeline 系列第 16 篇

技術『Day16』Relationships 關聯關係

昨天說明了 DAG 以及 Task，今天我們繼續說明另一個很重要的 Airflow 元件 -- Relationships 關聯關係。在我們做的第一個 DAG...

無聊工程師 bored_engineer ‧ 2023-10-01

0 Like 0 留言 763 瀏覽

鐵人賽 AI & Data DAY 15

Data pipeline 建起來！用 Airflow 開發你的 Data pipeline 系列第 15 篇

技術『Day15』如何使用 DAG , Task

昨天晚成第一個 DAG 之後，是不是覺得有些成就感呢？不過相信也對其中許多概念仍然感覺霧煞煞吧，在今天我們會來說明一下 Airflow 的 DAG 以及 Tas...

無聊工程師 bored_engineer ‧ 2023-09-30

0 Like 0 留言 914 瀏覽

鐵人賽 AI & Data DAY 14

Data pipeline 建起來！用 Airflow 開發你的 Data pipeline 系列第 14 篇

技術『Day14』第一個 Airflow Data Pipeline

安裝完環境之後，想必在讀本系列文章的你，對於開發 Data pipeline 必定是躍躍欲試！如果對 Airflow 有點熟悉的朋友，這幾天可以簡單瀏覽過或是當...

無聊工程師 bored_engineer ‧ 2023-09-29

0 Like 0 留言 1445 瀏覽

鐵人賽 AI & Data DAY 13

Data pipeline 建起來！用 Airflow 開發你的 Data pipeline 系列第 13 篇

技術『Day13』安裝 Airflow

剛開始學習程式的時候，對我來說最讓我感到挫折的就是環境安裝的問題。由於許多背景知識的不足，以及系統版本和程式版本非常的複雜，總是需要花上許多時間跟精力進行安裝及...

無聊工程師 bored_engineer ‧ 2023-09-28

0 Like 0 留言 933 瀏覽

鐵人賽 AI & Data DAY 12

Data pipeline 建起來！用 Airflow 開發你的 Data pipeline 系列第 12 篇

技術『Day12』Airflow DAG 介紹

今天也是在日本旅遊與鐵人競賽當中交錯，實在是十分有趣的經驗！今天看到日本許多有設計感的建築，覺得令人歎為觀止，我想除了設計的靈感之外，也需要強大的工程技術能力來...

無聊工程師 bored_engineer ‧ 2023-09-27

0 Like 0 留言 354 瀏覽

鐵人賽 AI & Data DAY 6

30天胡搞瞎搞學會pyspark 系列第 6 篇

技術 [ Day 6 ] - Pyspark | 介紹 - DataFrame篇 - Sample

在資料處理的領域,除了前幾天說的那些overview之外,了解了整個宏觀的資料集,我們還是會需要深入去確認資料的樣態,當資料集有排序性的時候,使用show(),...

vivi_vey ‧ 2023-09-21

0 Like 0 留言 863 瀏覽

鐵人賽 AI & Data DAY 11

Data pipeline 建起來！用 Airflow 開發你的 Data pipeline 系列第 11 篇

技術『Day11』Airflow 介紹

不瞞大家，這幾天其實我在日本旅遊當中，所以鐵人賽對我來說真的是很鍛鍊啊！每天有很多行程之外，結束後還是要抓緊時間寫文章，真的是極度瘋狂！但是這過程中卻也覺得十分...

無聊工程師 bored_engineer ‧ 2023-09-26

0 Like 0 留言 446 瀏覽

鐵人賽 AI & Data DAY 5

30天胡搞瞎搞學會pyspark 系列第 5 篇

技術 [ Day 5 ] - Pyspark | 介紹 - DataFrame篇 - Filter

過濾一些選擇,可以得到更好的資訊,或許也可以成為一個更好的人吧？就像你要找一個非常優秀的吹風機時,你也會在購物網站下一些特定的filter()讓你能夠更快速的選...

vivi_vey ‧ 2023-09-20

0 Like 1 留言 1068 瀏覽

鐵人賽 AI & Data DAY 10

Data pipeline 建起來！用 Airflow 開發你的 Data pipeline 系列第 10 篇

技術『Day10』如何設計實作 Data pipeline

在前幾天的內容當中，我們陸續介紹了 Data pipeline、Data pipeline 的種類、資料處理，資料品質等主題，相信大家對於 Data pipel...

無聊工程師 bored_engineer ‧ 2023-09-25

0 Like 1 留言 978 瀏覽

鐵人賽 AI & Data DAY 9

Data pipeline 建起來！用 Airflow 開發你的 Data pipeline 系列第 9 篇

技術『Day9』資料品質

在上一篇當中我們常常談到資料的品質，因為在資料處理的其中一個目的就是我們要提升資料的品質。那我們要如何判斷資料的品質呢？這篇想要來聊聊資料品質，幫助大家在實作...

無聊工程師 bored_engineer ‧ 2023-09-24

0 Like 0 留言 564 瀏覽

鐵人賽 AI & Data DAY 8

Data pipeline 建起來！用 Airflow 開發你的 Data pipeline 系列第 8 篇

技術『Day8』資料處理

在前一天跟大家分享了 Data pipeline 的種類，在每種 Data pipeline 當中多半都有資料處理的步驟。實際上在各種資料應用的場景，從資料分析...

無聊工程師 bored_engineer ‧ 2023-09-23

0 Like 0 留言 727 瀏覽

鐵人賽 AI & Data DAY 7

Data pipeline 建起來！用 Airflow 開發你的 Data pipeline 系列第 7 篇

技術『Day7』 Data pipeline 的種類

在建立Data pipeline 時我們常會碰到類似的場景。這邊帶大家了解一些常見的Data pipeline 類型，我們在開發Data pipeline 的時...

無聊工程師 bored_engineer ‧ 2023-09-22

0 Like 0 留言 634 瀏覽

鐵人賽 AI & Data DAY 6

Data pipeline 建起來！用 Airflow 開發你的 Data pipeline 系列第 6 篇

技術『Day6』 Data pipeline 介紹

管線無所不在，雖然說日常生活中常常不會注意到其存在，但是卻對我們的生活影響非常大。舉例來說，在做裝潢時，就必須要把未來房屋的使用情景進行評估。並且需要針對屋主進...

無聊工程師 bored_engineer ‧ 2023-09-21

0 Like 0 留言 466 瀏覽

鐵人賽 AI & Data DAY 4

30天胡搞瞎搞學會pyspark 系列第 4 篇

技術 [ Day 4 ] - Pyspark | 介紹 - DataFrame篇 - Select

21天可以養成一個好習慣, 但3天就可以放棄, 但我今天還是準時坐在這裡, 所以今天你的選擇是什麼呢？我們今天要來討論的是,選擇阿不是啦是select() 其實...

vivi_vey ‧ 2023-09-19

0 Like 0 留言 584 瀏覽

鐵人賽 AI & Data DAY 3

30天胡搞瞎搞學會pyspark 系列第 3 篇

技術 [ Day 3 ] - Pyspark | 介紹 - DataFrame篇 - Data Overview

上一篇簡述了5個讀取資料的方法,是不是開始迫不及待的想要馬上開始進行Data的操作啦先別急先別急,在我們開始實際針對DataFrame 進行操作之前, 先來看看...

vivi_vey ‧ 2023-09-18

0 Like 0 留言 611 瀏覽

鐵人賽 AI & Data DAY 4

Data pipeline 建起來！用 Airflow 開發你的 Data pipeline 系列第 4 篇

技術『Day4』資料工程師所需之技能

作為資料工程師，或說是負責處理資料工程的角色，我們需要具備什麼能力呢？其實從過去到現在的資料工程師的角色，隨著應用的不同以及工具的演變，資料工程師的角色默默的在...

無聊工程師 bored_engineer ‧ 2023-09-19

0 Like 0 留言 944 瀏覽

鐵人賽 AI & Data DAY 2

30天胡搞瞎搞學會pyspark 系列第 2 篇

技術 [ Day 2 ] - Pyspark | 介紹 - DataFrame篇 - Create DataFrame

啊,忽然不知不覺就是第二天挑戰了,但是腦子還是一片混亂, 所以我們還是就來簡單説説作為一個資料工程師,在胡搞瞎搞馬上要入手時,第一個該開始的地方Create(至...

vivi_vey ‧ 2023-09-17

0 Like 0 留言 696 瀏覽

鐵人賽 AI & Data DAY 3

Data pipeline 建起來！用 Airflow 開發你的 Data pipeline 系列第 3 篇

技術『Day3』Data team 的組成以及資料工程師的角色

團隊的合作方式從古至今總是不斷的演變當中，雖然工程師的歷史並沒有很長，但是變化卻十分快速。就像是網站工程師一般，過去也沒有這麼細分為前端禍後端，常常每個人都是全...

無聊工程師 bored_engineer ‧ 2023-09-18

0 Like 0 留言 2079 瀏覽

鐵人賽 AI & Data DAY 1

30天胡搞瞎搞學會pyspark 系列第 1 篇

技術 [ Day 1 ] - Pyspark | 介紹 - 什麼是Pyspark?

前言 1. What is Pyspark ? PySpark 顧名思義,也就是Python 的一個Spark Library，主要是利用Python語法結合S...

vivi_vey ‧ 2023-09-16

技術 『Day21』使用 Conn、Hook 進行外部連接

技術 [ Day 12 ] - Pyspark | 清理 - 特殊資料型態篇 - Array : explode()

技術 [ Day 10 ] - Pyspark | 清理 - 字串篇-2.1 : 正規表示式科普( regular expression )

技術 [ Day 10 ] - Pyspark | 清理 - 字串篇-2.1 : 正規表示式科普( regular expression )

技術 [ Day 9 ] - Pyspark | 清理 - 字串篇-1 - 切切切 : split(), substr()

技術 [ Day 8 ] - Pyspark | 清理 - 時間篇 - 2 Timestamp 轉換 : User Defined Function 的出現

技術 『Day20』Variable 與 Template

技術 [ Day 7 ] - Pyspark | 清理 - 時間篇 - 1 : Timestamp 轉換 : to_timestamp()

技術 『Day19』使用 XCom 進行 Task之間參數傳遞

技術 『Day18』帶入參數執行 DAG

技術 『Day17』DAG 執行方式與排程

技術 『Day16』Relationships 關聯關係

技術 『Day15』如何使用 DAG , Task

技術 『Day14』第一個 Airflow Data Pipeline

技術 『Day13』安裝 Airflow

技術 『Day12』Airflow DAG 介紹

技術 [ Day 6 ] - Pyspark | 介紹 - DataFrame篇 - Sample

技術 『Day11』Airflow 介紹

技術 [ Day 5 ] - Pyspark | 介紹 - DataFrame篇 - Filter

技術 『Day10』 如何設計實作 Data pipeline

技術 『Day9』 資料品質

技術 『Day8』 資料處理

技術 『Day7』 Data pipeline 的種類

技術 『Day6』 Data pipeline 介紹

技術 [ Day 4 ] - Pyspark | 介紹 - DataFrame篇 - Select

技術 [ Day 3 ] - Pyspark | 介紹 - DataFrame篇 - Data Overview

技術 『Day4』資料工程師所需之技能

技術 [ Day 2 ] - Pyspark | 介紹 - DataFrame篇 - Create DataFrame

技術 『Day3』Data team 的組成以及資料工程師的角色

技術 [ Day 1 ] - Pyspark | 介紹 - 什麼是Pyspark?

標記使用者

技術『Day21』使用 Conn、Hook 進行外部連接

技術『Day20』Variable 與 Template

技術『Day19』使用 XCom 進行 Task之間參數傳遞

技術『Day18』帶入參數執行 DAG

技術『Day17』DAG 執行方式與排程

技術『Day16』Relationships 關聯關係

技術『Day15』如何使用 DAG , Task

技術『Day14』第一個 Airflow Data Pipeline

技術『Day13』安裝 Airflow

技術『Day12』Airflow DAG 介紹

技術『Day11』Airflow 介紹

技術『Day10』如何設計實作 Data pipeline

技術『Day9』資料品質

技術『Day8』資料處理

技術『Day7』 Data pipeline 的種類

技術『Day6』 Data pipeline 介紹

技術『Day4』資料工程師所需之技能

技術『Day3』Data team 的組成以及資料工程師的角色