iT邦幫忙

kafka相關文章
共有 14 則文章
鐵人賽 Cloud、Big Data DAY 26

技術 Day 26: Stream Computing 框架的組成角色

雖然Day 25有提到好幾種Stream Computing框架,但是這些這些框架都有一些共通的組成元素: 從角色來看,分成幾組: 處理 client 提出...

鐵人賽 Cloud、Big Data DAY 19

技術 Day 19: 分散式資料系統 vs. 科層組織

讓我們用科層組織來類比分散式資料系統,作為分散式資料系統的小節吧。 我們從 partition 和 replication 談起,partition 就像科層組...

鐵人賽 Cloud、Big Data DAY 18

技術 Day 18: Apache Kafka 與 Stream Computing

至於為什麼 Kafka 適合搭配 Stream Computing呢? 因為 Stream Computing 本質上也是一種可平行處理、易擴充的分散式處理架構...

鐵人賽 Cloud、Big Data DAY 17

技術 Day 17: Apache kafka (5)

啊哈,沒想到Kafka可以寫到第五篇啊... 今天要講的是ack,ack問題在stream computing裡也會遇到,這邊就來先提一下。 stream co...

鐵人賽 Cloud、Big Data DAY 16

技術 Day 16: Apache Kafka (4)

今天來講一下Kafka的replication機制 Kafka的replication是以partition做單位,方法也很簡單,就是讓replica去訂閱要追...

鐵人賽 Cloud、Big Data DAY 15

技術 Day 15: Apache Kafka (3)

以下是Kafka的設計所帶來的限制: Consumer Group裡的consumer數量 不能小於 partition 數量。不然就會有partition裡...

鐵人賽 Cloud、Big Data DAY 14

技術 Day 14: Apache Kafka (2)

先來介紹一下Kafka的基本架構吧 (以下圖片都取自Kafka documentation)。 基本上Kafka是一個broker的角色,仲介producer與...

鐵人賽 Cloud、Big Data DAY 13

技術 Day 13: Apache Kafka

Apache Kafka 是一個 Distributed Queue 的實現,很多 Stream Computing 平台都支援 Kafka 作為 data s...