iT邦幫忙

鐵人檔案

2021 iThome 鐵人賽
回列表
AI & Data

資料工程師修煉之路 Part II 系列

延續上一屆寫到一半的主題 https://ithelp.ithome.com.tw/users/20130395/ironman/3602,

繼續做 Design Data-Intensive Applications 這本書的摘要 + 經驗分享吧!

鐵人鍊成 | 共 30 篇文章 | 11 人訂閱 訂閱系列文 RSS系列文
DAY 21

Consistency and Consensus (4-2) - Fault-Tolerant Consensus

續 Day 20 Fault-Tolerant Consensus 共識問題通常可以公式化成:一個或多個節點可以提議,然後共識演算法從其提議中做決定。 舉個...

2021-09-21 ‧ 由 tshine73 分享
DAY 22

Consistency and Consensus (4-3) - Coordination Services & Summary

續 Day 21 協調服務 (Coordination Services) 像 Apache ZooKeeper 類型的專案通常會被描述為:"分散...

2021-09-22 ‧ 由 tshine73 分享
DAY 23

Batch Processing (1) - Batch Processing with Unix Tools

Batch Processing 從去年開始寫 本系列文 開始到現在,我們著墨的都是現代系統的樣子,你發送 request 或送一個查詢,然後系統回給你 res...

2021-09-23 ‧ 由 tshine73 分享
DAY 24

Batch Processing (2) - MapReduce Job Execution

MapReduce and Distributed Filesystems MapReduce 有點像 昨天 講的 Unix 工具,它通常不會修改到輸入檔案,除...

2021-09-24 ‧ 由 tshine73 分享
DAY 25

Batch Processing (3-1) - MapReduce Reduce-Side Joins and Grouping

Reduce-Side Joins and Grouping 當 MapReuce Job 執行時,它會讀取所有的輸入資料,相較於資料庫來說等於 全表掃描 (f...

2021-09-25 ‧ 由 tshine73 分享
DAY 26

Batch Processing (3-2) - MapReduce Map-Side Joins

[Day 26] Batch Processing (3-2) - MapReduce Map-Side Joins 續 Day 25 Map-Side J...

2021-09-26 ‧ 由 tshine73 分享
DAY 27

Batch Processing (4) - Materialization of Intermediate State

Beyond MapReduce 儘管 MapReduce 在 2000 年以後很夯,但它畢竟是分散式系統中諸多程式框架中的其中一種,取決於數據量、數據結構和數...

2021-09-27 ‧ 由 tshine73 分享
DAY 28

Stream Processing (1-1) - Transmitting Event Streams

Transmitting Event Streams 最後一個章節是 串流處理 (stream processing),Day 23 ~ Day 27 講的 批...

2021-09-28 ‧ 由 tshine73 分享
DAY 29

Stream Processing (1-2) - Acknowledgments & Partitioned Logs

續 Day 28 Acknowledgments and redelivery 老樣子,消費者任何時間都有可能故障,有可能發生 訊息代理 (message...

2021-09-29 ‧ 由 tshine73 分享
DAY 30

Stream Processing (2) - Chande Data Capture

保持同步 資料工程師修煉之路走到現在,真的沒有一個系統能同足滿足資料儲存、查詢和邏輯處理,現實世界的應用程式都是由多個不同的系統組件搭建起來;舉例來說我們會使用...

2021-09-30 ‧ 由 tshine73 分享