談到分散式運算系統,大家最熟悉的應該是Hadoop。不過Hadoop是設計來處理high throughput的批次應用,相對來說不重視 latency。如果是...
作業系統有兩種常用的inter-process communication方式: Shared memory: 當做白板來交換資料,缺點是很多人用的話要排隊(...
Stream Computing 適用在有大量event湧進的應用,最常見的應用是activity analysis,比方說即時分析用戶在網站的瀏覽、點擊行為,...
突然發現我好像還沒介紹過 Stream Computing :D Stream Computing 是設計給需要 low-latency 的應用。batch p...
目前有幾種開源軟體可以選擇: Apache Storm Apache Samza Apache Spark Streaming 如果希望有sub...
雖然Day 25有提到好幾種Stream Computing框架,但是這些這些框架都有一些共通的組成元素: 從角色來看,分成幾組: 處理 client 提出...
在Stream Computing,一筆 record 可能會需要同時進行好幾種運算 (如: 更新各種counter, 計算統計值等等)。我們可以把一筆 rec...
昨天講到,Storm用Ackor將所有收到的ID XOR之後,來偵測一筆record是否已完全被處理。今天來講一下,如果遇到問題的話會怎麼處理。 其中一個常見的...
昨天講到 pure stream computing 不能提供 exactly-once semantics,不過有許多應用都需要 exactly-once s...
這是最後一篇文章囉,我要來介紹一下 stream computing 裡 狀態 的管理。 所謂狀態是指處理過程中的副作用,比方說,要更新 counter。如果沒...