iT邦幫忙

data engineer相關文章
共有 159 則文章
0 Like 0 留言 61 瀏覽
鐵人賽 Software Development DAY 9
深入 SQL 查詢引擎：30 天用 Rust 與 Apache DataFusion 解構資料處理流程 系列 第 9 篇

技術 Day 9｜Schema、Array 與 RecordBatch

在 Apache Arrow 中，一張資料表不是一個模糊的「表格物件」，而是由三個核心概念組成： Schema → 定義欄位名稱、資料型別與欄位順序 Arra...

郁庭 Cady ‧ 2026-08-25 ‧團隊源來適愛開緣
1 Like 0 留言 92 瀏覽
鐵人賽 Software Development DAY 8
深入 SQL 查詢引擎：30 天用 Rust 與 Apache DataFusion 解構資料處理流程 系列 第 8 篇

技術 Day 8｜認識 Apache Arrow：DataFusion 的資料基礎

Apache Arrow 是一套跨語言的欄式記憶體格式。 它不是資料庫，也不是只用來保存資料的檔案格式；它處理的是另一個問題： 資料進入記憶體後，要如何排列，...

郁庭 Cady ‧ 2026-08-24 ‧團隊源來適愛開緣
0 Like 0 留言 74 瀏覽
鐵人賽 Software Development DAY 2
Python 數據專案從頭做起：跟著一個專案學資料工程 系列 第 3 篇

技術 Day 2｜Stage 0（2/3）：從零建立資料工程專案，先把專案架構和 Python 虛擬環境準備好

現在終於可以開啟 VS Code。還沒有 VS Code 的朋友可以先到官方網站下載安裝(這裡)。這裡就不另外介紹安裝流程，我們直接開始建立專案。 先建立專案架...

ylw1515 ‧ 2026-08-25
0 Like 0 留言 87 瀏覽
鐵人賽 Software Development DAY 1
Python 數據專案從頭做起：跟著一個專案學資料工程 系列 第 2 篇

技術 Day 1｜Stage 0（1/3）：資料工程到底在做什麼？

好，系列正式開始。不過我們還沒有要立刻寫程式。在開始寫 Python、PostgreSQL、dbt、Airflow、Docker 之前，我想先花一篇文章把這張「...

ylw1515 ‧ 2026-08-24
0 Like 0 留言 99 瀏覽
鐵人賽 Software Development DAY 1
Python 數據專案從頭做起：跟著一個專案學資料工程 系列 第 1 篇

技術 Day 0｜簡介：數據專案從頭做起，跟著一個專案學資料工程

本系列主要聚焦於資料工程（Data Engineering），透過建立一條完整的資料處理 Pipeline，學習如何擷取、儲存、轉換與管理資料的相關概念。Pyt...

ylw1515 ‧ 2026-08-24
1 Like 0 留言 80 瀏覽
鐵人賽 Software Development DAY 7
深入 SQL 查詢引擎：30 天用 Rust 與 Apache DataFusion 解構資料處理流程 系列 第 7 篇

技術 Day 7｜Row-based vs Columnar：為什麼分析系統偏好欄式資料？

先說結論 分析系統偏好欄式資料（Columnar），主要是因為分析查詢常常會： 掃描大量資料。 但只使用其中少數幾個欄位。 進行篩選、分組與聚合，例如 WHE...

郁庭 Cady ‧ 2026-08-23 ‧團隊源來適愛開緣
1 Like 0 留言 113 瀏覽
鐵人賽 Software Development DAY 6
深入 SQL 查詢引擎：30 天用 Rust 與 Apache DataFusion 解構資料處理流程 系列 第 6 篇

技術 Day 6｜為分析而生的 Parquet

前幾天收到一些讀者回饋，希望文章可以更像教材：先把概念與資料處理流程說清楚，再進入程式實作。 我覺得這個建議很好，謝謝大家給我回饋～ 對資料工程來說，成功把資料...

郁庭 Cady ‧ 2026-08-22 ‧團隊源來適愛開緣
0 Like 0 留言 115 瀏覽
鐵人賽 Software Development DAY 5
深入 SQL 查詢引擎：30 天用 Rust 與 Apache DataFusion 解構資料處理流程 系列 第 5 篇

技術 Day 5｜JSON 資料也能直接 SQL 查詢

昨天我們將 CSV 註冊成 DataFusion 中的 Table，並使用 SQL 執行欄位選擇與資料篩選。 今天換成另一種常見的資料格式：JSON。 JSON...

郁庭 Cady ‧ 2026-08-21 ‧團隊源來適愛開緣
1 Like 0 留言 169 瀏覽
鐵人賽 Software Development DAY 4
深入 SQL 查詢引擎：30 天用 Rust 與 Apache DataFusion 解構資料處理流程 系列 第 4 篇

技術 Day 4｜從 CSV 開始：讓檔案變成可以 SQL 查詢的 Table

昨天我們建立了第一個 DataFusion 專案，並使用 SessionContext 執行一段不需要外部資料的 SQL。 今天要開始處理真正的資料檔案。 我們...

郁庭 Cady ‧ 2026-08-20 ‧團隊源來適愛開緣
0 Like 0 留言 201 瀏覽
鐵人賽 Software Development DAY 3
深入 SQL 查詢引擎：30 天用 Rust 與 Apache DataFusion 解構資料處理流程 系列 第 3 篇

技術 Day 3｜建立第一個 DataFusion 專案：相同結果的 SQL，真的一樣快嗎？

前兩天，我們先從概念上認識了 Query Engine，也知道 DataFusion 是一套使用 Rust 與 Apache Arrow 建立的查詢引擎。 今天...

郁庭 Cady ‧ 2026-08-19 ‧團隊源來適愛開緣
0 Like 0 留言 275 瀏覽
鐵人賽 Software Development DAY 2
深入 SQL 查詢引擎：30 天用 Rust 與 Apache DataFusion 解構資料處理流程 系列 第 2 篇

技術 Day 2｜為什麼是 Rust × Apache DataFusion？

大家好，我是 Cady，目前就讀資管系，也正在參與 Apache DataFusion 的開源貢獻。 發現 Day 1 忘記介紹自己，來補充一下，免得很像 AI...

郁庭 Cady ‧ 2026-08-18 ‧團隊源來適愛開緣
2 Like 1 留言 464 瀏覽
鐵人賽 Software Development DAY 1
深入 SQL 查詢引擎：30 天用 Rust 與 Apache DataFusion 解構資料處理流程 系列 第 1 篇

技術 Day 1｜資料工程不只是 ETL：SQL 背後發生了什麼？

前言 提到資料工程，你最先想到的可能是 ETL： 從 API、資料庫或檔案擷取資料 清理缺失值與錯誤格式 轉換欄位型別 將資料寫入 Data Warehous...

郁庭 Cady ‧ 2026-08-17 ‧團隊源來適愛開緣
0 Like 0 留言 1586 瀏覽

技術 BigQuery :: Reducing Storage Cost

簡單的幾個操作，降低 BigQuery 大筆的存儲費用！（理想情境中可以節省九成左右） BigQuery 的表格存儲一直以來都有很多項計費的模式，而主要分成兩...

阿晟 ‧ 2025-01-10
0 Like 0 留言 2143 瀏覽

技術 BigQuery :: Continuonus Query

BigQuery 近年來一直不斷擴充它功能的廣度，讓他遠遠不只是 Data Warehouse 這麼簡單，而是功能強大的 Data Platform（成本也越來...

阿晟 ‧ 2025-01-06
4 Like 0 留言 43458 瀏覽

徵才 【SHOPLINE 招募中】Backend (RoR, Go) / Data Engineer (Batch, Streaming) / Frontend (React) / SRE / QA

【關於工程團隊】SHOPLINE 台灣研發團隊有超過百位工程師，分為前後端、測試、數據、雲端維運等團隊，台北辦公室採混合辦公模式，目前 Backend、Fron...

shoplinetwhr ‧ 2024-12-03
2 Like 0 留言 1318 瀏覽
鐵人賽 Software Development
從一萬元開始交易：收割韭菜三十天，量化交易工具製作 系列 第 32 篇

技術 【Day 32】 蒐集證交所公開資料 / 取得每日成交量排行前二十大股票

在沒有行情的收盤或假日時段，也可以找點事情來做。 好比是回顧歷史，借古鑑今。 判斷一檔股票是否熱絡，可以直接從「交易量排行榜」很直觀地看出。 而去撈取交易量 “...

二坪山小弱砲 ‧ 2024-10-22 ‧團隊北投溫泉公園的蛞蝓觀察小隊
0 Like 0 留言 1076 瀏覽
鐵人賽 佛心分享-我的證照是這樣攻略的 DAY 30
老闆，外帶一份 AWS Certified Data Engineer 系列 第 30 篇

技術 【Day 29】 做題庫小試身手 - 11

先前我們針對 ExamTopics 的免費 32 題進行了準備。接下來，你還可以註冊 AWS Skill Builder 去看免費的課程，做免費題庫。（雖然根據...

二坪山小弱砲 ‧ 2024-10-14
2 Like 1 留言 990 瀏覽
鐵人賽 AI/ ML & Data DAY 30
這跟文件說的不一樣！從 0 到 1 導入 dbt 的實戰甘苦談 系列 第 30 篇

技術 DAY 30 Dbt 跟文件說的不一樣！你真的需要 dbt 嗎？

為什麼我們需要 dbt？我們真的需要它嗎？ 今天又在 Medium 看到這篇 No, Data Engineers Don’t NEED dbt.，在談論到底需...

阿晟 ‧ 2024-10-14 ‧團隊資料工程師甘苦談
0 Like 0 留言 935 瀏覽
鐵人賽 佛心分享-我的證照是這樣攻略的 DAY 29
老闆，外帶一份 AWS Certified Data Engineer 系列 第 29 篇

技術 【Day 29】 做題庫小試身手 - 10

題目 題庫 Questions Q33 A company has a frontend ReactJS website that uses Amazo...

二坪山小弱砲 ‧ 2024-10-13
0 Like 0 留言 1408 瀏覽

技術 Databricks Certified Data Engineer Associate 高分備考指南- Overview

前言 這是一篇關於如何取得Databricks Data Engineer Associate的備考指南,希望可以通過這一篇文章幫助大家也可以取得證照。 Pre...

vivi_vey ‧ 2024-10-13
0 Like 0 留言 641 瀏覽
鐵人賽 佛心分享-我的證照是這樣攻略的 DAY 28
老闆，外帶一份 AWS Certified Data Engineer 系列 第 28 篇

技術 【Day 28】 做題庫小試身手 - 9

題目 題庫 Questions Q30 A company is migrating a legacy application to an Amazon...

二坪山小弱砲 ‧ 2024-10-12
0 Like 0 留言 1114 瀏覽
鐵人賽 佛心分享-我的證照是這樣攻略的 DAY 27
老闆，外帶一份 AWS Certified Data Engineer 系列 第 27 篇

技術 【Day 27】 做題庫小試身手 - 8

題目 題庫 Questions Q27 A company wants to implement real-time analytics capabil...

二坪山小弱砲 ‧ 2024-10-11
0 Like 0 留言 730 瀏覽
鐵人賽 佛心分享-我的證照是這樣攻略的 DAY 26
老闆，外帶一份 AWS Certified Data Engineer 系列 第 26 篇

技術 【Day 26】 做題庫小試身手 - 7

題目 題庫 Questions Q23 A company currently stores all of its data in Amazon S3...

二坪山小弱砲 ‧ 2024-10-10
0 Like 0 留言 1209 瀏覽
鐵人賽 佛心分享-我的證照是這樣攻略的 DAY 25
老闆，外帶一份 AWS Certified Data Engineer 系列 第 25 篇

技術 【Day 25】 做題庫小試身手 - 6

題目 題庫 Questions Q19 A data engineer must orchestrate a series of Amazon Athe...

二坪山小弱砲 ‧ 2024-10-09
0 Like 0 留言 709 瀏覽
鐵人賽 佛心分享-我的證照是這樣攻略的 DAY 24
老闆，外帶一份 AWS Certified Data Engineer 系列 第 24 篇

技術 【Day 24】 Amazon MQ / Amazon Managed Streaming for Apache Kafka (MSK)

RabbitMQ 是由 Rabbit 公司所開發。 不過因為公司被 VMware 收購再被 Broadcom 收購，是誰的好像不是那麼重要。 Apache Ka...

二坪山小弱砲 ‧ 2024-10-08
0 Like 0 留言 891 瀏覽
鐵人賽 佛心分享-我的證照是這樣攻略的 DAY 23
老闆，外帶一份 AWS Certified Data Engineer 系列 第 23 篇

技術 【Day 23】 Amazon Kinesis Firehose 的簡單介紹

前一回，稍微看過了 Amazon Kinesis Data Streams，今天來說說另外一個也冠名 Kinesis 的服務 - Amazon Kinesis...

二坪山小弱砲 ‧ 2024-10-07
0 Like 0 留言 532 瀏覽
鐵人賽 佛心分享-我的證照是這樣攻略的 DAY 22
老闆，外帶一份 AWS Certified Data Engineer 系列 第 22 篇

技術 【Day 22】 Amazon Kinesis Data Streams 的簡單介紹

在前面做題庫的部分，出現了關於 「Amazon Kinesis Data Streams」，所以今天來說說這個服務。 REF Amazon Kinesis...

二坪山小弱砲 ‧ 2024-10-06
0 Like 0 留言 977 瀏覽
鐵人賽 佛心分享-我的證照是這樣攻略的 DAY 21
老闆，外帶一份 AWS Certified Data Engineer 系列 第 21 篇

技術 【Day 21】 做題庫小試身手 - 5

題目 題庫 Questions Q15 A data engineer needs to securely transfer 5 TB of data...

二坪山小弱砲 ‧ 2024-10-05
0 Like 0 留言 666 瀏覽
鐵人賽 佛心分享-我的證照是這樣攻略的 DAY 20
老闆，外帶一份 AWS Certified Data Engineer 系列 第 20 篇

技術 【Day 20】 做題庫小試身手 - 4

題目 題庫 Questions Q11 A data engineer needs Amazon Athena queries to finish fa...

二坪山小弱砲 ‧ 2024-10-04
0 Like 0 留言 511 瀏覽
鐵人賽 佛心分享-我的證照是這樣攻略的 DAY 19
老闆，外帶一份 AWS Certified Data Engineer 系列 第 19 篇

技術 【Day 19】 Hadoop / Spark / Amazon EMR

考古 Hadoop 是在 2006 時，就已經問世的老東西了。 而大概在十年前的時候，Spark 針對記憶體的方面進行優化和改良，利用物理的方式超車了 Hado...

二坪山小弱砲 ‧ 2024-10-03
iThome鐵人賽
參賽組數
309 組
團體組數
12 組
累計文章數
3163 篇
最後報名日
9/15
iT+看影片追技術 看影片追技術 看更多
熱門tag
15th鐵人賽 16th鐵人賽 13th鐵人賽 14th鐵人賽 17th鐵人賽 12th鐵人賽 11th鐵人賽 鐵人賽 2019鐵人賽 javascript 2018鐵人賽 python 2017鐵人賽 18th鐵人賽 windows php c# linux windows server css
熱門問題
熱門回答
熱門文章
IT邦幫忙