iT邦幫忙

2024 iThome 鐵人賽

DAY 24
0
佛心分享-我的證照是這樣攻略的

老闆,外帶一份 AWS Certified Data Engineer系列 第 24

【Day 24】 Amazon MQ / Amazon Managed Streaming for Apache Kafka (MSK)

  • 分享至 

  • xImage
  •  

RabbitMQ 是由 Rabbit 公司所開發。 不過因為公司被 VMware 收購再被 Broadcom 收購,是誰的好像不是那麼重要。

Apache Kafka 起初是由 LinkedIn 所開發並開放原始碼,由 Apache 孵化器資助。 其命名源自於奧匈帝國的作家 Franz Kafka。 Ref: https://engineering.linkedin.com/teams/data/data-infrastructure/streams/kafka

本篇將 Kafka、RabbitMQ 進行粗略比較

REF

RabbitMQ

其官方網站如此介紹:
RabbitMQ is a reliable and mature messaging and streaming broker, which is easy to deploy on cloud environments, on-premises, and on your local machine. It is currently used by millions worldwide.

  1. 可以是 Push-based 也可以是 Pull-based,多以 Push-based 為主
  2. 順序保證
  3. 訊息被提取後即消失
  4. 主從式的 HA
  5. 水平擴展性差,因為要保證寫入順序,所以只能從 Master 寫入
  6. 因為訊息讀完要被刪掉,所以還是要從 Master 刪

Kafka

  1. Pull-based
  2. 每秒可以處理百萬筆訊息
  3. 水平擴展的方式是基於不同 topic 進行切割
  4. 利於處理龐大資料
  5. 不刪訊息

結論

  • 先寫到這邊,之後再來補充

上一篇
【Day 23】 Amazon Kinesis Firehose 的簡單介紹
下一篇
【Day 25】 做題庫小試身手 - 6
系列文
老闆,外帶一份 AWS Certified Data Engineer30
圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言