iT邦幫忙

kafka相關文章
共有 24 則文章
鐵人賽 Software Development DAY 21

技術 [Day 21] 作業4:Bitcoin Trading Bot Design - 設計文件 review

Bitcoin Trading Bot Design - 設計文件 review 今天來reviewBitcoin Trading Bot Design 設計文...

鐵人賽 Software Development DAY 22

技術 來寫一個 Flink Streaming Job 吧 - Day22

前面講了一些基本概念,我們來看一個比較完整的案例吧 講到 Streaming,有一個很好用的工具叫 Kafka,應該也是大多數工程師或公司會用的工具。所以我們來...

鐵人賽 Software Development DAY 4
C++ 實務基礎經驗 系列 第 10

技術 第三方套件 librdkafka

第三方套件 librdkafka 今天來介紹kafka的客戶端函式庫,kafka是個提供高效一致性的消息隊列平台。 環境 環境需要建立一個kafka的環境(使用...

技術 Kafka 訊息訂閱發布系統簡介 - 完整架構介紹及總結

上次入門篇介紹了針對Kafka做了基本介紹,還沒看過的朋友可以先前往:Kafka 訊息訂閱發布系統 簡介 - 入門篇接下來文章將會圖解Kafka的詳細架構、總結...

技術 Kafka 訊息訂閱發布系統 簡介 - 入門篇

什麼是Kafka? Kafka是由Apache軟體基金會開發的一個開源流處理平台,由Scala和Java編寫。 該專案的目標是為處理即時資料提供一個統一、高...

鐵人賽 Modern Web DAY 6

技術 卡夫卡的藏書閣【Book6】- Kafka 實作新增 Topic

IT 這行真的學無止境,理想上可以主動追技術,比被技術追上好“I am free and that is why I am lost.”― Franz Kaf...

鐵人賽 Modern Web DAY 3

技術 卡夫卡的藏書閣【Book3】- Kafka 訊息與主題 Record and Topic

半夜的蘋果發表會,想起了賈伯斯的那句“Stay Hungry. Stay Foolish”“Youth is happy because it has the...

鐵人賽 自我挑戰組 DAY 17
淺入淺出分散式儲存 系列 第 17

技術 Day17 Middleware - Kafka & Redis

Kafka 簡單來說,我們可以稱後端和後端之間溝通的橋樑稱為Middleware,就如我們的Lab,API層與Data層溝通的橋樑,我們使用的是Kafka這種單...

鐵人賽 Modern Web DAY 2

技術 卡夫卡的藏書閣【Book2】- 學習資源介紹和Kafka架構微介紹

居高臨下遠眺百塔之城布拉格的高堡區,卡夫卡的衣冠冢就藏身其中就讓每天一點的卡夫卡陪伴我們熬過這30天的鐵人賽吧 “A book must be the axe...

技術 讓API 返回 Kafka- producer.send 事件 use Promise

這邊使用的是nodejs(egg)一張圖簡介一下 ELK+kafka做什麼用 (用於數據分析,log分析)kafka 用做數據寫入前的緩衝佇列ES 數據最後寫入...

鐵人賽 Cloud、Big Data DAY 26

技術 Day 26: Stream Computing 框架的組成角色

雖然Day 25有提到好幾種Stream Computing框架,但是這些這些框架都有一些共通的組成元素: 從角色來看,分成幾組: 處理 client 提出...

鐵人賽 Cloud、Big Data DAY 19

技術 Day 19: 分散式資料系統 vs. 科層組織

讓我們用科層組織來類比分散式資料系統,作為分散式資料系統的小節吧。 我們從 partition 和 replication 談起,partition 就像科層組...

鐵人賽 Cloud、Big Data DAY 18

技術 Day 18: Apache Kafka 與 Stream Computing

至於為什麼 Kafka 適合搭配 Stream Computing呢? 因為 Stream Computing 本質上也是一種可平行處理、易擴充的分散式處理架構...

鐵人賽 Cloud、Big Data DAY 17

技術 Day 17: Apache kafka (5)

啊哈,沒想到Kafka可以寫到第五篇啊... 今天要講的是ack,ack問題在stream computing裡也會遇到,這邊就來先提一下。 stream co...

鐵人賽 Cloud、Big Data DAY 16

技術 Day 16: Apache Kafka (4)

今天來講一下Kafka的replication機制 Kafka的replication是以partition做單位,方法也很簡單,就是讓replica去訂閱要追...

鐵人賽 Cloud、Big Data DAY 15

技術 Day 15: Apache Kafka (3)

以下是Kafka的設計所帶來的限制: Consumer Group裡的consumer數量 不能小於 partition 數量。不然就會有partition裡...

鐵人賽 Cloud、Big Data DAY 14

技術 Day 14: Apache Kafka (2)

先來介紹一下Kafka的基本架構吧 (以下圖片都取自Kafka documentation)。 基本上Kafka是一個broker的角色,仲介producer與...

鐵人賽 Cloud、Big Data DAY 13

技術 Day 13: Apache Kafka

Apache Kafka 是一個 Distributed Queue 的實現,很多 Stream Computing 平台都支援 Kafka 作為 data s...