iT邦幫忙

鐵人檔案

第 12 屆 iThome 鐵人賽
回列表
AI & Data

資料工程師修煉之路 系列

導讀 Design Data-Intensive Applications 佐 ETtoday 大數據團隊的蓋系統的經驗

鐵人鍊成 | 共 30 篇文章 | 16 人訂閱 訂閱系列文 RSS系列文
DAY 1

[Day 1] 沒時間可以不用看的前言

心理學研究 顯示:「最有效的學習方式,就是教別人。」 我從 Software Engineer 轉職到 Data Engineer 也 4 年了,做雜事的功...

2020-09-16 ‧ 由 t.shine73 分享
DAY 2

[Day 2] Reliable, Scalable, and Maintainable Application (1)

其實今天的很多系統都是 數據密集型 應用系統,也就是 數據量大、複雜、且速度快, 有別 10 幾年前的 計算密集型,CPU 時脈才是系統的瓶頸。 現在的數據密集...

2020-09-17 ‧ 由 t.shine73 分享
DAY 3

[Day 3] Reliable, Scalable, and Maintainable Application (2)

接續 Day 2 內容 Scalable (可擴充的) 數據系統現在 Reliable 不代表未來也是 Reliable,系統會進步, 這裡討論的 Scal...

2020-09-18 ‧ 由 t.shine73 分享
DAY 4

[Day 4] Data Model (1) - Relational Model and Doucment Model

資料模型 (Data Model) 是所有軟體開發中最重要的環節,每個資料表示層級要如何向更低層級表達資料項目? 看起來有點饒舌,資料表示層級舉例來看: 應...

2020-09-19 ‧ 由 t.shine73 分享
DAY 5

[Day 5] Data Model (2) - Relational Versus Doucment Model

接續 Day 4 內容 Relational Versus Document database 這裡有許多可以比較的點,像容錯能力和如何處理並行執行緒,但最...

2020-09-20 ‧ 由 t.shine73 分享
DAY 6

[Day 6] Data Model(3) - Graph-Like Data Model

接續 Day 5 Graph Data Model 初探 最後要來談談 Graph Data Model,若你軟體的資料關係是大部份一對多,使用 Docum...

2020-09-21 ‧ 由 t.shine73 分享
DAY 7

[Day 7] Data Model(4) - Triple-Store Graph Model 和 總結

接續 Day 6 Triple-Stores and SPARQL 最後要談的就是 Triple-store Graph Model,跟之前講的 Prope...

2020-09-22 ‧ 由 t.shine73 分享
DAY 8

[Day 8] Storage and Retrieval (1) - Log structured and Hash Index

前面幾天我們談了 Data Model,為你的數據系統挑個合適 Data Model 後,接下來就要談談怎麼儲存與檢索了,資料庫 (database) 就做這...

2020-09-23 ‧ 由 t.shine73 分享
DAY 9

[Day 9] Storage and Retrieval(2) - SSTables and LSM-Tree

接續 Day 8 SSTables 延續前一天講的 log-structure,其中我們在意的是相同 key 的資料順序要對,如此才能知道哪筆資料是新的嘛,...

2020-09-24 ‧ 由 t.shine73 分享
DAY 10

[Day 10] Storage and Retrieval(3) - B-Tree and comparing LSM-Trees

B-Tree 再來要介紹一個非常常用的 index 結構 B-Tree 和它會用到 storage engine (儲存引擎) page-oriented ,...

2020-09-25 ‧ 由 t.shine73 分享