iT邦幫忙

tshine73
iT邦新手 4 級 ‧ 點數 508
15129
累計瀏覽數
站內簡訊 追蹤

鐵人檔案

第 12 屆 iThome 鐵人賽
回列表
AI & Data

資料工程師修煉之路 系列

導讀 Design Data-Intensive Applications 佐 ETtoday 大數據團隊的蓋系統的經驗

鐵人鍊成 ｜ 共 30 篇文章 ｜ 26 人訂閱 訂閱系列文 RSS系列文
2 Like 0 留言 2703 瀏覽
DAY 11

[Day 11] Storage and Retrieval(4) - OLTP and OLAP

Transaction Processing or Analytics? 每一個資料庫都能許多種不同型態的資料，如 blog 貼文、遊戲資料、聯絡人資訊等等，應...

2020-09-26 ‧ 由 tshine73 分享
1 Like 0 留言 2569 瀏覽
DAY 12

[Day 12] Storage and Retrieval(5) - Column-Oriented Storage

接續 Day 11 Column-Oriented Storage 想像一下如果你的 fact table 有上兆筆資料，資料大小是 PB，dimensio...

2020-09-27 ‧ 由 tshine73 分享
1 Like 0 留言 1664 瀏覽
DAY 13

[Day 13] Encoding and Evolution(1)

Everything changes and nothing stands still.—Heraclitus of Ephesus, as quoted b...

2020-09-28 ‧ 由 tshine73 分享
1 Like 0 留言 2988 瀏覽
DAY 14

[Day 14] Encoding and Evolution(2) - Json, XML, CSV 和 Binary variants (二進制變體)

接續 Day 13 JSON, XML, CSV 和 Binary Variants (二進制變體) JSON, XML, CSV 都是很廣泛為人知、多人使...

2020-09-29 ‧ 由 tshine73 分享
1 Like 0 留言 1891 瀏覽
DAY 15

[Day 15] Encoding and Evolution(3) - Thrift and Protocol Buffers

接續 Day 14 Thrift and Protocol Buffers 再來要講的 binary encoding 工具就是 Apache Thrift...

2020-09-30 ‧ 由 tshine73 分享
1 Like 0 留言 3052 瀏覽
DAY 16

[Day 16] Encoding and Evolution(4) - Avro

接續 Day 15 Avro 最後一個要來談的 binary encoding 方式是 Apache Avro ，閞始於 Hadoop 底下的子專案，它很明...

2020-10-01 ‧ 由 tshine73 分享
1 Like 0 留言 1855 瀏覽
DAY 17

[Day 17] Encoding and Evolution (4-2) - Avro Evolution

接續 Day 16 Writer's schema and Reader's schema 這裡 Avro 把 encoding 跟 decoding 動作...

2020-10-02 ‧ 由 tshine73 分享
1 Like 0 留言 1536 瀏覽
DAY 18

[Day 18] Encoding and Evolution (5-1) - Mode of Dataflow - DB, REST API, RPC

Day 13 ~ 17 主要講資料記憶體如何存成檔案或 binary 的格式，也就是 encoding 和 decoding，到了最後一部份，要講講資料有哪幾種...

2020-10-03 ‧ 由 tshine73 分享
1 Like 0 留言 1230 瀏覽
DAY 19

[Day 19] Encoding and Evolution (5-2) - Mode of Dataflow - asynchronous message-passing 和總結

接續 Day 18 通過非同步訊息傳遞的 Data Flow 最後要來介紹 asynchronous message-passing (非同步訊息傳遞) 系...

2020-10-04 ‧ 由 tshine73 分享
1 Like 0 留言 1168 瀏覽
DAY 20

[Day 20] Distributed Data

Day 2 ~ Day19 的內容是這本書的 Part I，討論的都是系統中的資料如何在 單一機器 作業，在接下來的 10 天，也是這本書的 Part II，就...

2020-10-05 ‧ 由 tshine73 分享
tshine73的鐵人檔案
tshine73的收藏
tshine73的追蹤
tshine73的Like
tshine73的紀錄
tshine73的訂閱列表