第七屆 佳作

cloud
分散式資料處理,以Stream Computing為例
ccshih

系列文章

DAY 21

Day 21: 分散式運算系統

談到分散式運算系統,大家最熟悉的應該是Hadoop。不過Hadoop是設計來處理high throughput的批次應用,相對來說不重視 latency。如果是...

DAY 22

Day 22: 分散式運算系統的溝通方式

作業系統有兩種常用的inter-process communication方式: Shared memory: 當做白板來交換資料,缺點是很多人用的話要排隊(...

DAY 23

Day 23: Stream Computing的應用範圍

Stream Computing 適用在有大量event湧進的應用,最常見的應用是activity analysis,比方說即時分析用戶在網站的瀏覽、點擊行為,...

DAY 24

Day 24: Stream Computing特性

突然發現我好像還沒介紹過 Stream Computing :D Stream Computing 是設計給需要 low-latency 的應用。batch p...

DAY 25

Day 25: 選擇Stream Computing框架

目前有幾種開源軟體可以選擇: Apache Storm Apache Samza Apache Spark Streaming 如果希望有sub...

DAY 26

Day 26: Stream Computing 框架的組成角色

雖然Day 25有提到好幾種Stream Computing框架,但是這些這些框架都有一些共通的組成元素: 從角色來看,分成幾組: 處理 client 提出...

DAY 27

Day 27: 如何追蹤每一個record的處理進度

在Stream Computing,一筆 record 可能會需要同時進行好幾種運算 (如: 更新各種counter, 計算統計值等等)。我們可以把一筆 rec...

DAY 28

Day 28: 錯誤處理機制

昨天講到,Storm用Ackor將所有收到的ID XOR之後,來偵測一筆record是否已完全被處理。今天來講一下,如果遇到問題的話會怎麼處理。 其中一個常見的...

DAY 29

Day 29: 從Stream到Micro batch

昨天講到 pure stream computing 不能提供 exactly-once semantics,不過有許多應用都需要 exactly-once s...

DAY 30

Day 30: Stream States & Finale

這是最後一篇文章囉,我要來介紹一下 stream computing 裡 狀態 的管理。 所謂狀態是指處理過程中的副作用,比方說,要更新 counter。如果沒...