iT 邦幫忙::一起幫忙解決難題，拯救 IT 人的一天

0 Like 1 留言 302 瀏覽

鐵人賽 AI & Data DAY 23

Data pipeline 建起來！用 Airflow 開發你的 Data pipeline 系列第 23 篇

技術『Day23』來做個天氣資訊 DAG 吧 (上)

還記得我們第一次寫的 first_dag 嗎？當時只是基本的寫了一個 DAG 的雛形，在經過這幾天更了解 DAG 各個元件之後，大家是不是覺得躍躍欲試呢，相信大...

無聊工程師 bored_engineer ‧ 2023-10-08

0 Like 0 留言 377 瀏覽

鐵人賽 AI & Data DAY 21

Data pipeline 建起來！用 Airflow 開發你的 Data pipeline 系列第 21 篇

技術『Day21』使用 Conn、Hook 進行外部連接

到目前為止我們了解，DAG 如何建立，如何設定關聯關係，如何傳遞變數。而在Data pipeline 當中還有很重要的一個部分是與外部系統溝通。 Airflow...

無聊工程師 bored_engineer ‧ 2023-10-06

0 Like 0 留言 363 瀏覽

鐵人賽自我挑戰組 DAY 20

全端網頁-入職三十天學習筆記系列第 20 篇

技術【全端網頁開發】Day20-ETL（提取、轉換、載入）：數據之旅

前言 mentor:幫我研究一下ETLETL 的介紹ETL有哪些套件( 幫我比較至少三個ETL的套件 ) 由於之後專案需求要做到多項系統整合，因此會有各種資...

Shawn ‧ 2023-10-05

0 Like 0 留言 163 瀏覽

鐵人賽 AI & Data DAY 12

30天胡搞瞎搞學會pyspark 系列第 12 篇

技術 [ Day 12 ] - Pyspark | 清理 - 特殊資料型態篇 - Array : explode()

啊今天先來簡單介紹一下什麼事ArrayType()ArrayType()主要是將Array放入整個dataframe 中,然後Do Re Mi So你的Data...

vivi_vey ‧ 2023-09-27

0 Like 0 留言 274 瀏覽

鐵人賽 AI & Data DAY 11

30天胡搞瞎搞學會pyspark 系列第 11 篇

技術 [ Day 11 ] - Pyspark | 清理 - 字串篇-2.2 : regexp_extract(), regexp_replace(), rlike()

相信經過前一篇落落長的說明後,應該很了解regular expression是在幹嘛了吧那我們今天就開始來進入Pyspark與regular expressio...

vivi_vey ‧ 2023-09-26

0 Like 1 留言 487 瀏覽

鐵人賽 AI & Data DAY 10

Data pipeline 建起來！用 Airflow 開發你的 Data pipeline 系列第 10 篇

技術『Day10』如何設計實作 Data pipeline

在前幾天的內容當中，我們陸續介紹了 Data pipeline、Data pipeline 的種類、資料處理，資料品質等主題，相信大家對於 Data pipel...

無聊工程師 bored_engineer ‧ 2023-09-25

0 Like 0 留言 274 瀏覽

鐵人賽 AI & Data DAY 9

30天胡搞瞎搞學會pyspark 系列第 9 篇

技術 [ Day 9 ] - Pyspark | 清理 - 字串篇-1 - 切切切 : split(), substr()

昨天講完了如何處理timestamp()的時間格式該如何處理,今天就讓我們來看看,最大宗的部分,字串！講到字串,最常使用的就是大名鼎鼎的split(),subs...

vivi_vey ‧ 2023-09-24

0 Like 0 留言 173 瀏覽

鐵人賽 AI & Data DAY 8

30天胡搞瞎搞學會pyspark 系列第 8 篇

技術 [ Day 8 ] - Pyspark | 清理 - 時間篇 - 2 Timestamp 轉換 : User Defined Function 的出現

在多數情況下,使用to_timestamp(),幾乎可以解決掉所有的時間轉換問題,但Data Cleaning 是永遠不會讓你好過的,那這時候可以怎麼做呢？這時...

vivi_vey ‧ 2023-09-23

0 Like 0 留言 169 瀏覽

鐵人賽 AI & Data DAY 7

30天胡搞瞎搞學會pyspark 系列第 7 篇

技術 [ Day 7 ] - Pyspark | 清理 - 時間篇 - 1 : Timestamp 轉換 : to_timestamp()

各種各樣的轉換,時間今天是星期五,應該是容許水一天的吧 1. to_timestamp(col,format) 基本上就是針對日期格式做相對應的轉換！詳細情...

vivi_vey ‧ 2023-09-22

0 Like 0 留言 159 瀏覽

鐵人賽 AI & Data DAY 6

30天胡搞瞎搞學會pyspark 系列第 6 篇

技術 [ Day 6 ] - Pyspark | 介紹 - DataFrame篇 - Sample

在資料處理的領域,除了前幾天說的那些overview之外,了解了整個宏觀的資料集,我們還是會需要深入去確認資料的樣態,當資料集有排序性的時候,使用show(),...

vivi_vey ‧ 2023-09-21

0 Like 0 留言 291 瀏覽

鐵人賽 AI & Data DAY 6

Data pipeline 建起來！用 Airflow 開發你的 Data pipeline 系列第 6 篇

技術『Day6』 Data pipeline 介紹

管線無所不在，雖然說日常生活中常常不會注意到其存在，但是卻對我們的生活影響非常大。舉例來說，在做裝潢時，就必須要把未來房屋的使用情景進行評估。並且需要針對屋主進...

無聊工程師 bored_engineer ‧ 2023-09-21

0 Like 0 留言 263 瀏覽

鐵人賽 AI & Data DAY 5

30天胡搞瞎搞學會pyspark 系列第 5 篇

技術 [ Day 5 ] - Pyspark | 介紹 - DataFrame篇 - Filter

過濾一些選擇,可以得到更好的資訊,或許也可以成為一個更好的人吧？就像你要找一個非常優秀的吹風機時,你也會在購物網站下一些特定的filter()讓你能夠更快速的選...

vivi_vey ‧ 2023-09-20

0 Like 0 留言 362 瀏覽

鐵人賽 AI & Data DAY 5

Data pipeline 建起來！用 Airflow 開發你的 Data pipeline 系列第 5 篇

技術『Day5』來聊聊 Data Management

"那個Timmy啊，廠商那邊又有多一組類型的資料，你再幫忙收一下""Jerry，資料好像有少喔，幫忙看一下是哪邊的問題，以後看到類...

無聊工程師 bored_engineer ‧ 2023-09-20

0 Like 0 留言 217 瀏覽

鐵人賽 AI & Data DAY 4

30天胡搞瞎搞學會pyspark 系列第 4 篇

技術 [ Day 4 ] - Pyspark | 介紹 - DataFrame篇 - Select

21天可以養成一個好習慣, 但3天就可以放棄, 但我今天還是準時坐在這裡, 所以今天你的選擇是什麼呢？我們今天要來討論的是,選擇阿不是啦是select() 其實...

vivi_vey ‧ 2023-09-19

0 Like 0 留言 276 瀏覽

鐵人賽 AI & Data DAY 3

30天胡搞瞎搞學會pyspark 系列第 3 篇

技術 [ Day 3 ] - Pyspark | 介紹 - DataFrame篇 - Data Overview

上一篇簡述了5個讀取資料的方法,是不是開始迫不及待的想要馬上開始進行Data的操作啦先別急先別急,在我們開始實際針對DataFrame 進行操作之前, 先來看看...

vivi_vey ‧ 2023-09-18

0 Like 0 留言 457 瀏覽

鐵人賽 AI & Data DAY 2

30天胡搞瞎搞學會pyspark 系列第 2 篇

技術 [ Day 2 ] - Pyspark | 介紹 - DataFrame篇 - Create DataFrame

啊,忽然不知不覺就是第二天挑戰了,但是腦子還是一片混亂, 所以我們還是就來簡單説説作為一個資料工程師,在胡搞瞎搞馬上要入手時,第一個該開始的地方Create(至...

vivi_vey ‧ 2023-09-17

0 Like 0 留言 859 瀏覽

鐵人賽 AI & Data DAY 1

30天胡搞瞎搞學會pyspark 系列第 1 篇

技術 [ Day 1 ] - Pyspark | 介紹 - 什麼是Pyspark?

前言 1. What is Pyspark ? PySpark 顧名思義,也就是Python 的一個Spark Library，主要是利用Python語法結合S...

vivi_vey ‧ 2023-09-16

0 Like 0 留言 1051 瀏覽

鐵人賽 AI & Data DAY 2

吵什麼 AI 煉金術？！你家有礦嗎？(資料領域必知的 30 個詞彙) 系列第 2 篇

技術 DIKW & 資料的層次(Data, Information, Intelligence)

資料的層次 2020 年受邀到台北商業大學授課，當時為了讓同學們了解「資料的層次」，以及“data”、“information”、“file”與“Big dat...

Anna Yen ‧ 2023-09-05

1 Like 0 留言 603 瀏覽

鐵人賽 AI & Data DAY 30

PyTorch 生態鏈實戰運用系列第 30 篇

技術 [Day30] 結語：回歸初心，資料是一切的根本

前言滿多預計要討論的其他Task最後都沒有實作到，居然意外變成是純粹以Classification為例的深度學習實作範例了！在此作為系列篇的最後一篇，打算分享...

srarod ‧ 2022-10-12

0 Like 0 留言 2586 瀏覽

鐵人賽 AI & Data DAY 25

Azure介紹以及應用系列第 25 篇

技術 Day-25 DP-900介紹ヾ(;ﾟ;Д;ﾟ;)ﾉﾞ

前文我們前兩天介紹完Azure的基本Az-900，以及有關Azure在人工智慧、機器學習方面的檢測，就是特化版的AI-900，今天要來介紹另一個特化版，有關資...

matt30707 ‧ 2022-10-10

0 Like 0 留言 802 瀏覽

鐵人賽 AI & Data DAY 7

Azure介紹以及應用系列第 7 篇

技術 Day-7 那Data跟Azure到底有什麼關聯呢？ლ(╯⊙ε⊙ლ╰)

前言那其實我這次報名競賽的題目為Azure的介紹以及應用，主題選的是AI&Data，那問題就來了，AI跟Data到底跟Azure有什麼關係呢？ Azu...

matt30707 ‧ 2022-09-22

0 Like 0 留言 820 瀏覽

鐵人賽 AI & Data DAY 3

Azure介紹以及應用系列第 3 篇

技術 Day3 什麼是Azure-2?ლ(╹◡╹ლ)

前言上一篇介紹完雲端服務後，這一篇文章我想要介紹Azure雲端服務到底提供什麼功能，讓大家知道它可以運用在什麼地方，但其Azure可以延伸應用非常多，這邊只是...

matt30707 ‧ 2022-09-18

0 Like 0 留言 1131 瀏覽

鐵人賽 AI & Data DAY 2

Azure介紹以及應用系列第 2 篇

技術 Day-2 什麼是Azure-1？ლ(・´ｪ`・ლ)

前言再介紹Azure是什麼之前，我們要先了解什麼是雲端服務雲端服務雲端服務：是一種符合商業需求的網路作業服務，讓使用者不用購買軟體，只需透過電腦連接遠端伺...

matt30707 ‧ 2022-09-17

0 Like 0 留言 1605 瀏覽

鐵人賽 AI & Data DAY 16

開始你的數據分析之路 - 資料ETL & 視覺化系列第 16 篇

技術 Day16_[tableau desktop]製作雙層圓餅圖

Hi, day16 也是tableau desktop的第一篇文章, 相信大家都會製作圓餅圖了, 若今天要製作雙層的呢? 也就是甜甜圈圖(dount chart...

eseries116 ‧ 2022-09-17

0 Like 0 留言 1783 瀏覽

鐵人賽 AI & Data DAY 1

Azure介紹以及應用系列第 1 篇

技術 Day-1 讓我們從0開始認識Azure吧！（附目錄）ლ｜＾Д＾ლ｜

前言如果你是個在資訊科系中打滾的大學生，或是在科技業中游走的上班族，無可避免地會接觸到雲端這塊，其實這幾年雲端的發展越來越完整，趨勢也越來越好，企業端對雲端的...

matt30707 ‧ 2022-09-16

0 Like 0 留言 621 瀏覽

鐵人賽 AI & Data DAY 15

開始你的數據分析之路 - 資料ETL & 視覺化系列第 15 篇

技術 Day15_[tableau prep]為何需要清理資料

Hi, day15來到了tableau prep的最後一篇文章前面介紹了14篇關於tableau prep的操作, 這邊或許有些人會有疑問為什麼需要做資料清理...

eseries116 ‧ 2022-09-16

0 Like 0 留言 760 瀏覽

鐵人賽 AI & Data DAY 14

開始你的數據分析之路 - 資料ETL & 視覺化系列第 14 篇

技術 Day14_[tableau prep]將清理後的資料輸出

Hi, day14我們來講當我們將資料清理成我們的需求格式後, 該如何輸出檔案? 在tableau prep中提供了三種輸出的選項輸出至本機端的檔案(exc...

eseries116 ‧ 2022-09-15

0 Like 0 留言 692 瀏覽

鐵人賽 AI & Data DAY 13

開始你的數據分析之路 - 資料ETL & 視覺化系列第 13 篇

技術 Day13_[tableau prep]在本機端同時載入多個有規律名稱的excel資料源

Hi, day13快要到本次系列文tableau prep的部分尾聲了前面幾篇主要是在解說資料ETL的T(Transform)的部分, 也是最核心的今天來講解...

eseries116 ‧ 2022-09-14

0 Like 0 留言 906 瀏覽

鐵人賽 AI & Data DAY 12

開始你的數據分析之路 - 資料ETL & 視覺化系列第 12 篇

技術 Day12_[tableau prep]字串類型的其他函式(進階正則表達式)

Hi, day12我們來講更進階的正則表達式這次會用到以下這兩個函式REGEXP_REPLACE(多重自訂規則取代字元)REGEXP_EXTRACT(多重自訂規...

eseries116 ‧ 2022-09-13

0 Like 0 留言 1106 瀏覽

鐵人賽 AI & Data DAY 11

開始你的數據分析之路 - 資料ETL & 視覺化系列第 11 篇

技術 Day11_[tableau prep]分析類型的其他函式(TRIM)

Hi, day11要來介紹tableau prep中的TRIM函式,這個函式可以去除字串前面&後面的空格, 在遇到需要處理字串長度的狀況可以使用到 TR...

eseries116 ‧ 2022-09-12

技術 『Day23』來做個天氣資訊 DAG 吧 (上)

技術 『Day21』使用 Conn、Hook 進行外部連接

技術 【全端網頁開發】Day20-ETL（提取、轉換、載入）：數據之旅

技術 [ Day 12 ] - Pyspark | 清理 - 特殊資料型態篇 - Array : explode()

技術 [ Day 11 ] - Pyspark | 清理 - 字串篇-2.2 : regexp_extract(), regexp_replace(), rlike()

技術 『Day10』 如何設計實作 Data pipeline

技術 [ Day 9 ] - Pyspark | 清理 - 字串篇-1 - 切切切 : split(), substr()

技術 [ Day 8 ] - Pyspark | 清理 - 時間篇 - 2 Timestamp 轉換 : User Defined Function 的出現

技術 [ Day 7 ] - Pyspark | 清理 - 時間篇 - 1 : Timestamp 轉換 : to_timestamp()

技術 [ Day 6 ] - Pyspark | 介紹 - DataFrame篇 - Sample

技術 『Day6』 Data pipeline 介紹

技術 [ Day 5 ] - Pyspark | 介紹 - DataFrame篇 - Filter

技術 『Day5』 來聊聊 Data Management

技術 [ Day 4 ] - Pyspark | 介紹 - DataFrame篇 - Select

技術 [ Day 3 ] - Pyspark | 介紹 - DataFrame篇 - Data Overview

技術 [ Day 2 ] - Pyspark | 介紹 - DataFrame篇 - Create DataFrame

技術 [ Day 1 ] - Pyspark | 介紹 - 什麼是Pyspark?

技術 DIKW & 資料的層次(Data, Information, Intelligence)

技術 [Day30] 結語：回歸初心，資料是一切的根本

技術 Day-25 DP-900介紹 ヾ(;ﾟ;Д;ﾟ;)ﾉﾞ

技術 Day-7 那Data跟Azure到底有什麼關聯呢？ლ(╯⊙ε⊙ლ╰)

技術 Day3 什麼是Azure-2?ლ(╹◡╹ლ)

技術 Day-2 什麼是Azure-1？ლ(・´ｪ`・ლ)

技術 Day16_[tableau desktop]製作雙層圓餅圖

技術 Day-1 讓我們從0開始認識Azure吧！（附目錄）ლ｜＾Д＾ლ｜

技術 Day15_[tableau prep]為何需要清理資料

技術 Day14_[tableau prep]將清理後的資料輸出

技術 Day13_[tableau prep]在本機端同時載入多個有規律名稱的excel資料源

技術 Day12_[tableau prep]字串類型的其他函式(進階正則表達式)

技術 Day11_[tableau prep]分析類型的其他函式(TRIM)

標記使用者

技術『Day23』來做個天氣資訊 DAG 吧 (上)

技術『Day21』使用 Conn、Hook 進行外部連接

技術【全端網頁開發】Day20-ETL（提取、轉換、載入）：數據之旅

技術『Day10』如何設計實作 Data pipeline

技術『Day6』 Data pipeline 介紹

技術『Day5』來聊聊 Data Management

技術 Day-25 DP-900介紹ヾ(;ﾟ;Д;ﾟ;)ﾉﾞ