iT 邦幫忙::一起幫忙解決難題，拯救 IT 人的一天

0 Like 0 留言 294 瀏覽

鐵人賽 IT 管理 DAY 19

iTop：開源 ITSM 與 CMDB 解決方案系列第 19 篇

技術 iTop 組態管理 Data Synchronization 簡介

我們的 iTop 資產來源大部分都是透過 Data Collector 外掛來同步外部系統的資訊，那麼對於 Data Synchronization 資料同步流...

Ivan Cheng ‧ 2024-10-02

2 Like 0 留言 169 瀏覽

鐵人賽 AI/ ML & Data DAY 4

資料與程式碼的交鋒 - Data Engineer 與合作夥伴的協奏曲系列第 4 篇

技術《資料與程式碼的交鋒》Day 04 - 資料管線 Data Pipeline

前兩天我們反覆地強調，在一個 OLTP 系統，高度符合正規化設計，且具備一定業務量的資料庫裡，要取得合用的分析資料，需要付出不少代價，包含業務受影響、查詢效能...

Shu-Ting | 資料科學漂流者 ‧ 2024-09-18 ‧團隊資料工程師甘苦談

0 Like 0 留言 176 瀏覽

鐵人賽 DevOps DAY 10

我獨自升級：從水管工走向 DataOps 系列第 10 篇

技術【Day 10】DBT 新手村入門：架構說明

前言我這邊的說明和舉例其實都是 dbt Core 的部分，老實說 dbt Cloud 我也沒有好好玩過，所以先打個預防針，避免差異過大，造成誤導，如果有任何疑...

Shawn ‧ 2024-09-24

0 Like 0 留言 329 瀏覽

鐵人賽 DevOps DAY 9

我獨自升級：從水管工走向 DataOps 系列第 9 篇

技術【Day 9】數據轉換最悪の世代：DBT 簡介

DBT 的由來 dbt（data build tool）最初由數據諮詢公司 Fishtown Analytics 創建，目的是解決數據轉換和分析工程中的挑戰。...

Shawn ‧ 2024-09-23

0 Like 0 留言 395 瀏覽

技術數據處理ETL概述

ETL概述 ETL（Extract, Transform, Load）是一種用於從不同數據源中提取數據、對數據進行轉換處理並將其載入到目標數據存儲中的過程。這個...

Ring.CL.Wu ‧ 2024-08-24

1 Like 0 留言 344 瀏覽

鐵人賽 AI & Data DAY 24

實用Modern Data Stack：資料架構案例分析與分享系列第 24 篇

技術 Reverse ETL & C-CDP：活化你的資料倉庫 Part 6

激活層資料模型範例（續）淺談360資料模型在激活層內最常用到的資料模型通常是某種360模型。顧名思義，360資料模型基本上就是一個實體的360 度視圖，目標...

Mike Han ‧ 2023-10-09 ‧團隊dbt 和 dbt 以外有趣的事

1 Like 0 留言 285 瀏覽

鐵人賽 AI & Data DAY 23

實用Modern Data Stack：資料架構案例分析與分享系列第 23 篇

技術 Reverse ETL & C-CDP：活化你的資料倉庫 Part 5

激活層資料模型範例用一個比較簡單的與常見的使用案例來做範例，假設某一個公司的商業模型如下：客戶獲取（Customer Acquisition）和客戶引導（...

Mike Han ‧ 2023-10-08 ‧團隊dbt 和 dbt 以外有趣的事

1 Like 0 留言 236 瀏覽

鐵人賽 AI & Data DAY 22

實用Modern Data Stack：資料架構案例分析與分享系列第 22 篇

技術 Reverse ETL & C-CDP：活化你的資料倉庫 Part 4

配合rETL和C-CDP的激活層模型設計之前提到了資料激活層（Data Activation Layer）在現代資料棧（Modern Data Stack）裡...

Mike Han ‧ 2023-10-07 ‧團隊dbt 和 dbt 以外有趣的事

1 Like 0 留言 2017 瀏覽

鐵人賽 IT管理 DAY 21

從 IT 的視角觀看公司內部的系統管理及設計系列第 21 篇

技術 Day 21 : ELT 是什麼？和 ETL 有什麼差異？

ELT 是什麼？和 ETL 有什麼差異？大家安安，今天我們一起來聊聊 ELT 和 ETL 這兩個常見的資料處理方式。前幾天在 Day 15 : 多系統整合 P...

jtlin1206 ‧ 2023-10-06 ‧團隊消波塊上的海洋貓貓

0 Like 0 留言 730 瀏覽

鐵人賽自我挑戰組 DAY 21

全端網頁-入職三十天學習筆記系列第 21 篇

技術【全端網頁開發】Day21-ETF工具Apache NiFi實做

前言昨天介紹了ETL概念，今天要實作ETL工具Apache NiFi的流程，它的應用可以滿廣的，今天先以基本的功能展示它的作用，那以下就開始介紹Apache...

Shawn ‧ 2023-10-06

0 Like 0 留言 772 瀏覽

鐵人賽自我挑戰組 DAY 20

全端網頁-入職三十天學習筆記系列第 20 篇

技術【全端網頁開發】Day20-ETL（提取、轉換、載入）：數據之旅

前言 mentor:幫我研究一下ETLETL 的介紹ETL有哪些套件( 幫我比較至少三個ETL的套件 ) 由於之後專案需求要做到多項系統整合，因此會有各種資...

Shawn ‧ 2023-10-05

1 Like 0 留言 528 瀏覽

鐵人賽 IT管理 DAY 15

從 IT 的視角觀看公司內部的系統管理及設計系列第 15 篇

技術 Day 15 : 多系統整合 Part4 - 擷取、轉換、載入 (ETL)

多系統整合 Part4 - 擷取、轉換、載入 (ETL) 在前幾篇文章中，我們已經討論了多系統整合的必要性、使用電子資料交換（EDI）和應用程式介面（API）的...

jtlin1206 ‧ 2023-09-30 ‧團隊消波塊上的海洋貓貓

0 Like 0 留言 285 瀏覽

鐵人賽 Software Development DAY 8

從實戰中學習：Take Home Assignment review & refactor 系列第 8 篇

技術 [Day 8] Food Delivery Platform Code review (二)

ETL & SQL review 這個作業那時我花最多時間的是研究作業的data(restaurant_with_menu.json, users_wi...

Moscle.dev ‧ 2023-09-22

0 Like 1 留言 1447 瀏覽

鐵人賽 AI & Data DAY 12

吵什麼 AI 煉金術？！你家有礦嗎？(資料領域必知的 30 個詞彙) 系列第 12 篇

技術 Data Pipeline 資料管線(vs. ETL/ETL Pipeline)

我發現最近幾年的比較已經變成 Data Pipeline vs. ETL Pipeline。人外有人，天外有天這個系列讓我有機會再次更新自己資料領域的知識庫...

Anna Yen ‧ 2023-09-15

1 Like 0 留言 794 瀏覽

鐵人賽 Software Development DAY 8

用 Airflow & Flink 來開發 ETL 吧系列第 8 篇

技術 Airflow Connection 設定跟使用 - Day8

ETL 大概有八成的時間，都是在跟各種儲存系統互動。不管是常見的資料庫、BigQuery，或是 Redis, Hadoop，這些本質上都是儲存系統，差別只是連接...

kaihg1028 ‧ 2023-09-08 ‧團隊今天截止日

2 Like 0 留言 2206 瀏覽

鐵人賽 Software Development DAY 1

用 Airflow & Flink 來開發 ETL 吧系列第 1 篇

技術什麼是 ETL，為什麼要做 ETL - Day1

身為一名數據工程師，每天寫 code 做的事情簡單來說，都是 ETL。 Extract、Transform、Load（ETL）是一個常用於資料庫管理和商業智能領...

kaihg1028 ‧ 2023-09-01 ‧團隊今天截止日

0 Like 0 留言 837 瀏覽

鐵人賽 AI & Data DAY 15

開始你的數據分析之路 - 資料ETL & 視覺化系列第 15 篇

技術 Day15_[tableau prep]為何需要清理資料

Hi, day15來到了tableau prep的最後一篇文章前面介紹了14篇關於tableau prep的操作, 這邊或許有些人會有疑問為什麼需要做資料清理...

eseries116 ‧ 2022-09-16

0 Like 0 留言 990 瀏覽

鐵人賽 AI & Data DAY 14

開始你的數據分析之路 - 資料ETL & 視覺化系列第 14 篇

技術 Day14_[tableau prep]將清理後的資料輸出

Hi, day14我們來講當我們將資料清理成我們的需求格式後, 該如何輸出檔案? 在tableau prep中提供了三種輸出的選項輸出至本機端的檔案(exc...

eseries116 ‧ 2022-09-15

0 Like 0 留言 836 瀏覽

鐵人賽 AI & Data DAY 13

開始你的數據分析之路 - 資料ETL & 視覺化系列第 13 篇

技術 Day13_[tableau prep]在本機端同時載入多個有規律名稱的excel資料源

Hi, day13快要到本次系列文tableau prep的部分尾聲了前面幾篇主要是在解說資料ETL的T(Transform)的部分, 也是最核心的今天來講解...

eseries116 ‧ 2022-09-14

0 Like 0 留言 1089 瀏覽

鐵人賽 AI & Data DAY 12

開始你的數據分析之路 - 資料ETL & 視覺化系列第 12 篇

技術 Day12_[tableau prep]字串類型的其他函式(進階正則表達式)

Hi, day12我們來講更進階的正則表達式這次會用到以下這兩個函式REGEXP_REPLACE(多重自訂規則取代字元)REGEXP_EXTRACT(多重自訂規...

eseries116 ‧ 2022-09-13

0 Like 0 留言 1381 瀏覽

鐵人賽 AI & Data DAY 11

開始你的數據分析之路 - 資料ETL & 視覺化系列第 11 篇

技術 Day11_[tableau prep]分析類型的其他函式(TRIM)

Hi, day11要來介紹tableau prep中的TRIM函式,這個函式可以去除字串前面&後面的空格, 在遇到需要處理字串長度的狀況可以使用到 TR...

eseries116 ‧ 2022-09-12

0 Like 0 留言 1544 瀏覽

鐵人賽 AI & Data DAY 10

開始你的數據分析之路 - 資料ETL & 視覺化系列第 10 篇

技術 Day10_[tableau prep]樞紐資料pivot

Day10我們來看另一個tableau prep的主要功能之一, 樞紐資料(pivot), 何謂樞紐資料?在處理資料的過程, 以常見的表格來說,人們傾向於表格是...

eseries116 ‧ 2022-09-11

0 Like 0 留言 1283 瀏覽

鐵人賽 AI & Data DAY 9

開始你的數據分析之路 - 資料ETL & 視覺化系列第 9 篇

技術 Day9_[tableau prep]聯結資料join

Day9我們來聊聊甚麼是聯結資料(join) 聯結資料意思是兩個表格之間有至少一個或以上的欄位是有關連(相同)性的, 那麼就可以透過有關連性的欄位將資料表格橫向...

eseries116 ‧ 2022-09-10

0 Like 0 留言 1427 瀏覽

鐵人賽 AI & Data DAY 8

開始你的數據分析之路 - 資料ETL & 視覺化系列第 8 篇

技術 Day8_[tableau prep]彙總資料aggregate

Day8來講講彙總資料aggregate是甚麼吧在我們整理完資料後, 資料會一列一列的呈現出來, 例如範例資料可以看到我們整理出來的表格有交易日, STORE...

eseries116 ‧ 2022-09-09

0 Like 0 留言 2136 瀏覽

鐵人賽 AI & Data DAY 7

開始你的數據分析之路 - 資料ETL & 視覺化系列第 7 篇

技術 Day7_[tableau prep]聯集資料union

Day7我們一起來看在tableau prep中的主要處理方式之一聯集資料(union) 所謂的聯集意思是, 將不同的資料表格中, 把這些表格上下連接成一個表格...

eseries116 ‧ 2022-09-08

0 Like 0 留言 2001 瀏覽

鐵人賽 AI & Data DAY 6

開始你的數據分析之路 - 資料ETL & 視覺化系列第 6 篇

技術 Day6_[tableau prep]正則表達式

Hi, day6讓我們來談談甚麼是正則表達式吧, 在資料處理的過程中, 我們難免會遇到資料非常髒亂的狀況, 但是在電腦的理解中, 有一個很特別的方式, 名稱叫做...

eseries116 ‧ 2022-09-07

0 Like 0 留言 1633 瀏覽

鐵人賽 AI & Data DAY 5

開始你的數據分析之路 - 資料ETL & 視覺化系列第 5 篇

技術 Day5_[tableau prep]數字欄位處理

Hi, day5我們一起來看看, 遇到數字格式的欄位時, 在實務需求中會怎麼處理吧! 情境1：資料欄位FEE中, 有null值, 負數值, 正數值, 非null...

eseries116 ‧ 2022-09-06

0 Like 0 留言 2073 瀏覽

鐵人賽 AI & Data DAY 4

開始你的數據分析之路 - 資料ETL & 視覺化系列第 4 篇

技術 Day4_[tableau prep]字串欄位處理

Hi, day4我們接著來介紹, 若遇到字串欄位時, 在實務中遇到需求可以怎麼處理, 情境1：資料欄位STORE_CITY, 當中包含了各縣市名稱, 若今天需求...

eseries116 ‧ 2022-09-05

0 Like 0 留言 1911 瀏覽

鐵人賽 AI & Data DAY 3

開始你的數據分析之路 - 資料ETL & 視覺化系列第 3 篇

技術 Day3_[tableau prep]時間日期欄位處理

Hi, 今日要來介紹如何處理日期時間欄位, 首先將範例資料載入到tableau prep中, 我們點選 + 符號, 可以看到有很多步驟可以選擇, 我們的需求是要...

eseries116 ‧ 2022-09-04

0 Like 0 留言 1587 瀏覽

鐵人賽 AI & Data DAY 2

開始你的數據分析之路 - 資料ETL & 視覺化系列第 2 篇

技術 Day2_[tableau prep]匯入資料

Hi, 在介紹今天的主題前,先說明何謂資料ETL, 也是此系列文的主題名稱有提到的 E(extract擷取)：將原始資料從server端或本地端匯入暫存處(ta...

eseries116 ‧ 2022-09-03