iT 邦幫忙::一起幫忙解決難題，拯救 IT 人的一天

1 Like 0 留言 187 瀏覽

鐵人賽 AI & Data DAY 24

實用Modern Data Stack：資料架構案例分析與分享系列第 24 篇

技術 Reverse ETL & C-CDP：活化你的資料倉庫 Part 6

激活層資料模型範例（續）淺談360資料模型在激活層內最常用到的資料模型通常是某種360模型。顧名思義，360資料模型基本上就是一個實體的360 度視圖，目標...

Mike Han ‧ 2023-10-09 ‧團隊dbt 和 dbt 以外有趣的事

1 Like 0 留言 132 瀏覽

鐵人賽 AI & Data DAY 23

實用Modern Data Stack：資料架構案例分析與分享系列第 23 篇

技術 Reverse ETL & C-CDP：活化你的資料倉庫 Part 5

激活層資料模型範例用一個比較簡單的與常見的使用案例來做範例，假設某一個公司的商業模型如下：客戶獲取（Customer Acquisition）和客戶引導（...

Mike Han ‧ 2023-10-08 ‧團隊dbt 和 dbt 以外有趣的事

1 Like 0 留言 132 瀏覽

鐵人賽 AI & Data DAY 22

實用Modern Data Stack：資料架構案例分析與分享系列第 22 篇

技術 Reverse ETL & C-CDP：活化你的資料倉庫 Part 4

配合rETL和C-CDP的激活層模型設計之前提到了資料激活層（Data Activation Layer）在現代資料棧（Modern Data Stack）裡...

Mike Han ‧ 2023-10-07 ‧團隊dbt 和 dbt 以外有趣的事

1 Like 0 留言 598 瀏覽

鐵人賽 IT管理 DAY 21

從 IT 的視角觀看公司內部的系統管理及設計系列第 21 篇

技術 Day 21 : ELT 是什麼？和 ETL 有什麼差異？

ELT 是什麼？和 ETL 有什麼差異？大家安安，今天我們一起來聊聊 ELT 和 ETL 這兩個常見的資料處理方式。前幾天在 Day 15 : 多系統整合 P...

jtlin1206 ‧ 2023-10-06 ‧團隊消波塊上的海洋貓貓

0 Like 0 留言 346 瀏覽

鐵人賽自我挑戰組 DAY 21

全端網頁-入職三十天學習筆記系列第 21 篇

技術【全端網頁開發】Day21-ETF工具Apache NiFi實做

前言昨天介紹了ETL概念，今天要實作ETL工具Apache NiFi的流程，它的應用可以滿廣的，今天先以基本的功能展示它的作用，那以下就開始介紹Apache...

Shawn ‧ 2023-10-06

0 Like 0 留言 391 瀏覽

鐵人賽自我挑戰組 DAY 20

全端網頁-入職三十天學習筆記系列第 20 篇

技術【全端網頁開發】Day20-ETL（提取、轉換、載入）：數據之旅

前言 mentor:幫我研究一下ETLETL 的介紹ETL有哪些套件( 幫我比較至少三個ETL的套件 ) 由於之後專案需求要做到多項系統整合，因此會有各種資...

Shawn ‧ 2023-10-05

1 Like 0 留言 231 瀏覽

鐵人賽 IT管理 DAY 15

從 IT 的視角觀看公司內部的系統管理及設計系列第 15 篇

技術 Day 15 : 多系統整合 Part4 - 擷取、轉換、載入 (ETL)

多系統整合 Part4 - 擷取、轉換、載入 (ETL) 在前幾篇文章中，我們已經討論了多系統整合的必要性、使用電子資料交換（EDI）和應用程式介面（API）的...

jtlin1206 ‧ 2023-09-30 ‧團隊消波塊上的海洋貓貓

0 Like 0 留言 197 瀏覽

鐵人賽 Software Development DAY 8

從實戰中學習：Take Home Assignment review & refactor 系列第 8 篇

技術 [Day 8] Food Delivery Platform Code review (二)

ETL & SQL review 這個作業那時我花最多時間的是研究作業的data(restaurant_with_menu.json, users_wi...

Moscle.dev ‧ 2023-09-22

0 Like 1 留言 1027 瀏覽

鐵人賽 AI & Data DAY 12

吵什麼 AI 煉金術？！你家有礦嗎？(資料領域必知的 30 個詞彙) 系列第 12 篇

技術 Data Pipeline 資料管線(vs. ETL/ETL Pipeline)

我發現最近幾年的比較已經變成 Data Pipeline vs. ETL Pipeline。人外有人，天外有天這個系列讓我有機會再次更新自己資料領域的知識庫...

Anna Yen ‧ 2023-09-15

1 Like 0 留言 456 瀏覽

鐵人賽 Software Development DAY 8

用 Airflow & Flink 來開發 ETL 吧系列第 8 篇

技術 Airflow Connection 設定跟使用 - Day8

ETL 大概有八成的時間，都是在跟各種儲存系統互動。不管是常見的資料庫、BigQuery，或是 Redis, Hadoop，這些本質上都是儲存系統，差別只是連接...

kaihg1028 ‧ 2023-09-08 ‧團隊今天截止日

2 Like 0 留言 1051 瀏覽

鐵人賽 Software Development DAY 1

用 Airflow & Flink 來開發 ETL 吧系列第 1 篇

技術什麼是 ETL，為什麼要做 ETL - Day1

身為一名數據工程師，每天寫 code 做的事情簡單來說，都是 ETL。 Extract、Transform、Load（ETL）是一個常用於資料庫管理和商業智能領...

kaihg1028 ‧ 2023-09-01 ‧團隊今天截止日

0 Like 0 留言 633 瀏覽

鐵人賽 AI & Data DAY 15

開始你的數據分析之路 - 資料ETL & 視覺化系列第 15 篇

技術 Day15_[tableau prep]為何需要清理資料

Hi, day15來到了tableau prep的最後一篇文章前面介紹了14篇關於tableau prep的操作, 這邊或許有些人會有疑問為什麼需要做資料清理...

eseries116 ‧ 2022-09-16

0 Like 0 留言 774 瀏覽

鐵人賽 AI & Data DAY 14

開始你的數據分析之路 - 資料ETL & 視覺化系列第 14 篇

技術 Day14_[tableau prep]將清理後的資料輸出

Hi, day14我們來講當我們將資料清理成我們的需求格式後, 該如何輸出檔案? 在tableau prep中提供了三種輸出的選項輸出至本機端的檔案(exc...

eseries116 ‧ 2022-09-15

0 Like 0 留言 707 瀏覽

鐵人賽 AI & Data DAY 13

開始你的數據分析之路 - 資料ETL & 視覺化系列第 13 篇

技術 Day13_[tableau prep]在本機端同時載入多個有規律名稱的excel資料源

Hi, day13快要到本次系列文tableau prep的部分尾聲了前面幾篇主要是在解說資料ETL的T(Transform)的部分, 也是最核心的今天來講解...

eseries116 ‧ 2022-09-14

0 Like 0 留言 918 瀏覽

鐵人賽 AI & Data DAY 12

開始你的數據分析之路 - 資料ETL & 視覺化系列第 12 篇

技術 Day12_[tableau prep]字串類型的其他函式(進階正則表達式)

Hi, day12我們來講更進階的正則表達式這次會用到以下這兩個函式REGEXP_REPLACE(多重自訂規則取代字元)REGEXP_EXTRACT(多重自訂規...

eseries116 ‧ 2022-09-13

0 Like 0 留言 1127 瀏覽

鐵人賽 AI & Data DAY 11

開始你的數據分析之路 - 資料ETL & 視覺化系列第 11 篇

技術 Day11_[tableau prep]分析類型的其他函式(TRIM)

Hi, day11要來介紹tableau prep中的TRIM函式,這個函式可以去除字串前面&後面的空格, 在遇到需要處理字串長度的狀況可以使用到 TR...

eseries116 ‧ 2022-09-12

0 Like 0 留言 1273 瀏覽

鐵人賽 AI & Data DAY 10

開始你的數據分析之路 - 資料ETL & 視覺化系列第 10 篇

技術 Day10_[tableau prep]樞紐資料pivot

Day10我們來看另一個tableau prep的主要功能之一, 樞紐資料(pivot), 何謂樞紐資料?在處理資料的過程, 以常見的表格來說,人們傾向於表格是...

eseries116 ‧ 2022-09-11

0 Like 0 留言 1059 瀏覽

鐵人賽 AI & Data DAY 9

開始你的數據分析之路 - 資料ETL & 視覺化系列第 9 篇

技術 Day9_[tableau prep]聯結資料join

Day9我們來聊聊甚麼是聯結資料(join) 聯結資料意思是兩個表格之間有至少一個或以上的欄位是有關連(相同)性的, 那麼就可以透過有關連性的欄位將資料表格橫向...

eseries116 ‧ 2022-09-10

0 Like 0 留言 1169 瀏覽

鐵人賽 AI & Data DAY 8

開始你的數據分析之路 - 資料ETL & 視覺化系列第 8 篇

技術 Day8_[tableau prep]彙總資料aggregate

Day8來講講彙總資料aggregate是甚麼吧在我們整理完資料後, 資料會一列一列的呈現出來, 例如範例資料可以看到我們整理出來的表格有交易日, STORE...

eseries116 ‧ 2022-09-09

0 Like 0 留言 1737 瀏覽

鐵人賽 AI & Data DAY 7

開始你的數據分析之路 - 資料ETL & 視覺化系列第 7 篇

技術 Day7_[tableau prep]聯集資料union

Day7我們一起來看在tableau prep中的主要處理方式之一聯集資料(union) 所謂的聯集意思是, 將不同的資料表格中, 把這些表格上下連接成一個表格...

eseries116 ‧ 2022-09-08

0 Like 0 留言 1753 瀏覽

鐵人賽 AI & Data DAY 6

開始你的數據分析之路 - 資料ETL & 視覺化系列第 6 篇

技術 Day6_[tableau prep]正則表達式

Hi, day6讓我們來談談甚麼是正則表達式吧, 在資料處理的過程中, 我們難免會遇到資料非常髒亂的狀況, 但是在電腦的理解中, 有一個很特別的方式, 名稱叫做...

eseries116 ‧ 2022-09-07

0 Like 0 留言 1385 瀏覽

鐵人賽 AI & Data DAY 5

開始你的數據分析之路 - 資料ETL & 視覺化系列第 5 篇

技術 Day5_[tableau prep]數字欄位處理

Hi, day5我們一起來看看, 遇到數字格式的欄位時, 在實務需求中會怎麼處理吧! 情境1：資料欄位FEE中, 有null值, 負數值, 正數值, 非null...

eseries116 ‧ 2022-09-06

0 Like 0 留言 1751 瀏覽

鐵人賽 AI & Data DAY 4

開始你的數據分析之路 - 資料ETL & 視覺化系列第 4 篇

技術 Day4_[tableau prep]字串欄位處理

Hi, day4我們接著來介紹, 若遇到字串欄位時, 在實務中遇到需求可以怎麼處理, 情境1：資料欄位STORE_CITY, 當中包含了各縣市名稱, 若今天需求...

eseries116 ‧ 2022-09-05

0 Like 0 留言 1613 瀏覽

鐵人賽 AI & Data DAY 3

開始你的數據分析之路 - 資料ETL & 視覺化系列第 3 篇

技術 Day3_[tableau prep]時間日期欄位處理

Hi, 今日要來介紹如何處理日期時間欄位, 首先將範例資料載入到tableau prep中, 我們點選 + 符號, 可以看到有很多步驟可以選擇, 我們的需求是要...

eseries116 ‧ 2022-09-04

0 Like 0 留言 1410 瀏覽

鐵人賽 AI & Data DAY 2

開始你的數據分析之路 - 資料ETL & 視覺化系列第 2 篇

技術 Day2_[tableau prep]匯入資料

Hi, 在介紹今天的主題前,先說明何謂資料ETL, 也是此系列文的主題名稱有提到的 E(extract擷取)：將原始資料從server端或本地端匯入暫存處(ta...

eseries116 ‧ 2022-09-03

0 Like 0 留言 1591 瀏覽

鐵人賽 AI & Data DAY 1

開始你的數據分析之路 - 資料ETL & 視覺化系列第 1 篇

技術 Day1_tableau prep介紹

Hi, 又來到了自虐的第二年參加鐵人賽XD今年計畫介紹兩個目前於我的現職工作中常用的tableau軟體,分別是tableau prep & tablea...

eseries116 ‧ 2022-09-02

1 Like 0 留言 9645 瀏覽

鐵人賽 AI & Data DAY 29

資料三十-那些最基本的資料處理與分析技能系列第 29 篇

技術【Day29-管線】ETL資料工程的必備觀念與流程工具Dagster介紹

終於到了倒數第二天了，那前一天我們介紹了用爬蟲作為資料獲取的手段，那今天就來稍微講解一下有了資料之後需要怎樣進行資料流(data pipeline)的管理吧 E...

owo ‧ 2021-10-14

0 Like 0 留言 790 瀏覽

鐵人賽 AI & Data DAY 19

Data on Air - 以AWS服務實作雲端數據分析系列第 19 篇

技術 DAY 19 Big Data 5Vs – Variety(速度) EMR (2)

接續介紹昨天建立的EMR叢集：建立的叢集可以在左方工具欄的叢集分頁找到步驟的狀態可以到「步驟」分頁查看，可以看到叢集會分兩步驟：先建立好Hadoop後再安裝S...

Krystal ‧ 2021-10-01

0 Like 0 留言 541 瀏覽

鐵人賽 AI & Data DAY 17

Data on Air - 以AWS服務實作雲端數據分析系列第 17 篇

技術 DAY 17 Big Data 5Vs – Variety(速度) Glue Data Brew

目前為止Glue的三個工具，可以依使用者的開發習慣與技術背景來選用，而AWS是以客戶為導向的公司，對於越來越多跨領域的人才都要希望能夠善加應用手中資料的需求下，...

Krystal ‧ 2021-09-29

0 Like 0 留言 795 瀏覽

鐵人賽 AI & Data DAY 16

Data on Air - 以AWS服務實作雲端數據分析系列第 16 篇

技術 DAY 16 Big Data 5Vs – Variety(速度) Glue(4) Glue Studio

繼續建立昨天的資料處理任務：昨天建立的script可以從工具欄中job分頁找到檔案本身會存在S3中，可以點選去查看程式碼完成後到Job Detail分頁可以...

Krystal ‧ 2021-09-28