iT 邦幫忙::一起幫忙解決難題，拯救 IT 人的一天

1 Like 0 留言 6030 瀏覽

鐵人賽 AI & Data DAY 4

資料工程師修煉之路系列第 4 篇

技術 [Day 4] Data Model (1) - Relational Model and Document Model

資料模型 (Data Model) 是所有軟體開發中最重要的環節，每個資料表示層級要如何向更低層級表達資料項目？看起來有點饒舌，資料表示層級舉例來看：應...

tshine73 ‧ 2020-09-19

2 Like 0 留言 3695 瀏覽

鐵人賽 AI & Data DAY 9

資料工程師修煉之路系列第 9 篇

技術 [Day 9] Storage and Retrieval(2) - SSTables and LSM-Tree

接續 Day 8 SSTables 延續前一天講的 log-structure，其中我們在意的是相同 key 的資料順序要對，如此才能知道哪筆資料是新的嘛，...

tshine73 ‧ 2020-09-24

1 Like 0 留言 3237 瀏覽

鐵人賽 AI & Data DAY 6

資料工程師修煉之路系列第 6 篇

技術 [Day 6] Data Model(3) - Graph-Like Data Model

接續 Day 5 Graph Data Model 初探最後要來談談 Graph Data Model，若你軟體的資料關係是大部份一對多，使用 Docum...

tshine73 ‧ 2020-09-21

1 Like 0 留言 3055 瀏覽

鐵人賽 AI & Data DAY 16

資料工程師修煉之路系列第 16 篇

技術 [Day 16] Encoding and Evolution(4) - Avro

接續 Day 15 Avro 最後一個要來談的 binary encoding 方式是 Apache Avro ，閞始於 Hadoop 底下的子專案，它很明...

tshine73 ‧ 2020-10-01

1 Like 0 留言 2988 瀏覽

鐵人賽 AI & Data DAY 14

資料工程師修煉之路系列第 14 篇

技術 [Day 14] Encoding and Evolution(2) - Json, XML, CSV 和 Binary variants (二進制變體)

接續 Day 13 JSON, XML, CSV 和 Binary Variants (二進制變體) JSON, XML, CSV 都是很廣泛為人知、多人使...

tshine73 ‧ 2020-09-29

2 Like 0 留言 2923 瀏覽

鐵人賽 AI & Data DAY 10

資料工程師修煉之路系列第 10 篇

技術 [Day 10] Storage and Retrieval(3) - B-Tree and comparing LSM-Trees

B-Tree 再來要介紹一個非常常用的 index 結構 B-Tree 和它會用到 storage engine (儲存引擎) page-oriented ，...

tshine73 ‧ 2020-09-25

2 Like 0 留言 2703 瀏覽

鐵人賽 AI & Data DAY 11

資料工程師修煉之路系列第 11 篇

技術 [Day 11] Storage and Retrieval(4) - OLTP and OLAP

Transaction Processing or Analytics? 每一個資料庫都能許多種不同型態的資料，如 blog 貼文、遊戲資料、聯絡人資訊等等，應...

tshine73 ‧ 2020-09-26

1 Like 0 留言 2572 瀏覽

鐵人賽 AI & Data DAY 12

資料工程師修煉之路系列第 12 篇

技術 [Day 12] Storage and Retrieval(5) - Column-Oriented Storage

接續 Day 11 Column-Oriented Storage 想像一下如果你的 fact table 有上兆筆資料，資料大小是 PB，dimensio...

tshine73 ‧ 2020-09-27

1 Like 0 留言 2564 瀏覽

鐵人賽 AI & Data DAY 5

資料工程師修煉之路系列第 5 篇

技術 [Day 5] Data Model (2) - Relational Versus Document Model

接續 Day 4 內容 Relational vs. Document database 這裡有許多可以比較的點，像容錯能力和如何處理並行執行緒，但最主要的...

tshine73 ‧ 2020-09-20

1 Like 0 留言 2388 瀏覽

鐵人賽 AI & Data DAY 8

資料工程師修煉之路系列第 8 篇

技術 [Day 8] Storage and Retrieval (1) - Log structured and Hash Index

前面幾天我們談了 Data Model，為你的數據系統挑個合適 Data Model 後，接下來就要談談怎麼儲存與檢索了，資料庫 (database) 就做這...

tshine73 ‧ 2020-09-23

1 Like 0 留言 2212 瀏覽

鐵人賽 AI & Data DAY 3

資料工程師修煉之路系列第 3 篇

技術 [Day 3] Reliable, Scalable, and Maintainable Application (2)

接續 Day 2 內容 Scalable (可擴充的) 數據系統現在 Reliable 不代表未來也是 Reliable，系統會進步，這裡討論的 Scal...

tshine73 ‧ 2020-09-18

1 Like 0 留言 2093 瀏覽

鐵人賽 AI & Data DAY 7

資料工程師修煉之路系列第 7 篇

技術 [Day 7] Data Model(4) - Triple-Store Graph Model 和總結

接續 Day 6 Triple-Stores and SPARQL 最後要談的就是 Triple-store Graph Model，跟之前講的 Prope...

tshine73 ‧ 2020-09-22

1 Like 0 留言 1892 瀏覽

鐵人賽 AI & Data DAY 15

資料工程師修煉之路系列第 15 篇

技術 [Day 15] Encoding and Evolution(3) - Thrift and Protocol Buffers

接續 Day 14 Thrift and Protocol Buffers 再來要講的 binary encoding 工具就是 Apache Thrift...

tshine73 ‧ 2020-09-30

1 Like 0 留言 1857 瀏覽

鐵人賽 AI & Data DAY 17

資料工程師修煉之路系列第 17 篇

技術 [Day 17] Encoding and Evolution (4-2) - Avro Evolution

接續 Day 16 Writer's schema and Reader's schema 這裡 Avro 把 encoding 跟 decoding 動作...

tshine73 ‧ 2020-10-02

1 Like 0 留言 1667 瀏覽

鐵人賽 AI & Data DAY 13

資料工程師修煉之路系列第 13 篇

技術 [Day 13] Encoding and Evolution(1)

Everything changes and nothing stands still.—Heraclitus of Ephesus, as quoted b...

tshine73 ‧ 2020-09-28

1 Like 0 留言 1437 瀏覽

鐵人賽 AI & Data DAY 4

資料產品開發與專案管理系列第 4 篇

技術 [Day 4] 資料產品第二層 - 資料加工術 - 資料驗證與清洗

稻米就算採收，也無法直接食用，需要經過一系列的加工才能送到消費者的手裡。 (圖片來源：富里鄉農會) 這個流程跟加工資料的流程並沒有什麼太大的差異，常見的資料基...

bryanyang0528 ‧ 2021-09-04

1 Like 0 留言 639 瀏覽

鐵人賽 AI & Data DAY 2

Data pipeline 建起來！用 Airflow 開發你的 Data pipeline 系列第 2 篇

技術『Day 2』什麼是 Data Engineering

記得在學生時期，我因為對於學校的選課網站操作不太習慣，於是便自己寫了一個簡單的爬蟲程式，用來自動抓取課程資訊和教師評價。經整理後，我和朋友合作設計了一個使用者友...

無聊工程師 bored_engineer ‧ 2023-09-17

0 Like 0 留言 636 瀏覽

鐵人賽 AI & Data DAY 3

Data pipeline 建起來！用 Airflow 開發你的 Data pipeline 系列第 3 篇

技術『Day3』Data team 的組成以及資料工程師的角色

團隊的合作方式從古至今總是不斷的演變當中，雖然工程師的歷史並沒有很長，但是變化卻十分快速。就像是網站工程師一般，過去也沒有這麼細分為前端禍後端，常常每個人都是全...

無聊工程師 bored_engineer ‧ 2023-09-18

0 Like 0 留言 580 瀏覽

鐵人賽 AI & Data DAY 4

Data pipeline 建起來！用 Airflow 開發你的 Data pipeline 系列第 4 篇

技術『Day4』資料工程師所需之技能

作為資料工程師，或說是負責處理資料工程的角色，我們需要具備什麼能力呢？其實從過去到現在的資料工程師的角色，隨著應用的不同以及工具的演變，資料工程師的角色默默的在...

無聊工程師 bored_engineer ‧ 2023-09-19

0 Like 0 留言 550 瀏覽

鐵人賽 AI & Data DAY 5

Data pipeline 建起來！用 Airflow 開發你的 Data pipeline 系列第 5 篇

技術『Day5』來聊聊 Data Management

"那個Timmy啊，廠商那邊又有多一組類型的資料，你再幫忙收一下""Jerry，資料好像有少喔，幫忙看一下是哪邊的問題，以後看到類...

無聊工程師 bored_engineer ‧ 2023-09-20

1 Like 0 留言 440 瀏覽

鐵人賽 AI & Data DAY 28

實用Modern Data Stack：資料架構案例分析與分享系列第 28 篇

技術資料合約（Data Contracts）101：1 簡介

定義資料合約最近幾年才出現在資料領域（儘管與手機流量合約和加密貨幣的智能合約有點混淆），然而，其背後的概念和用法並不新穎。這個概念的開發或多或少是一種對大數據...

Mike Han ‧ 2023-10-13 ‧團隊dbt 和 dbt 以外有趣的事

1 Like 0 留言 399 瀏覽

鐵人賽 AI & Data DAY 29

實用Modern Data Stack：資料架構案例分析與分享系列第 29 篇

技術資料合約（Data Contracts）101：2 實踐參考

實踐架構瞭解了資料合約的定義以後，有很多人的反應是“感覺很簡單，為什麼沒有/不直接執行呢？“。在軟體工程領域裡將API資料結構協議化與嚴格執行已經是行之有年的...

Mike Han ‧ 2023-10-14 ‧團隊dbt 和 dbt 以外有趣的事

技術 [Day 4] Data Model (1) - Relational Model and Document Model

技術 [Day 9] Storage and Retrieval(2) - SSTables and LSM-Tree

技術 [Day 6] Data Model(3) - Graph-Like Data Model

技術 [Day 16] Encoding and Evolution(4) - Avro

技術 [Day 14] Encoding and Evolution(2) - Json, XML, CSV 和 Binary variants (二進制變體)

技術 [Day 10] Storage and Retrieval(3) - B-Tree and comparing LSM-Trees

技術 [Day 11] Storage and Retrieval(4) - OLTP and OLAP

技術 [Day 12] Storage and Retrieval(5) - Column-Oriented Storage

技術 [Day 5] Data Model (2) - Relational Versus Document Model

技術 [Day 8] Storage and Retrieval (1) - Log structured and Hash Index

技術 [Day 3] Reliable, Scalable, and Maintainable Application (2)

技術 [Day 7] Data Model(4) - Triple-Store Graph Model 和 總結

技術 [Day 15] Encoding and Evolution(3) - Thrift and Protocol Buffers

技術 [Day 17] Encoding and Evolution (4-2) - Avro Evolution

技術 [Day 13] Encoding and Evolution(1)

技術 [Day 4] 資料產品第二層 - 資料加工術 - 資料驗證與清洗

技術 『Day 2』什麼是 Data Engineering

技術 『Day3』Data team 的組成以及資料工程師的角色

技術 『Day4』資料工程師所需之技能

技術 『Day5』 來聊聊 Data Management

技術 資料合約（Data Contracts）101：1 簡介

技術 資料合約（Data Contracts）101：2 實踐參考

標記使用者

技術 [Day 7] Data Model(4) - Triple-Store Graph Model 和總結

技術『Day 2』什麼是 Data Engineering

技術『Day3』Data team 的組成以及資料工程師的角色

技術『Day4』資料工程師所需之技能

技術『Day5』來聊聊 Data Management

技術資料合約（Data Contracts）101：1 簡介

技術資料合約（Data Contracts）101：2 實踐參考