iT邦幫忙

2024 iThome 鐵人賽

DAY 22
0

在前面做題庫的部分,出現了關於 「Amazon Kinesis Data Streams」,所以今天來說說這個服務。

REF

概念

  • 看到 Kinesis 系列的服務,主要有三類四種。
  • 今天先來講 Data Streams
  • 文件都說他是低延遲的服務(70 ms),可以用來收串流資料,或者收影像串流。
  • 一些會源源不絕吐出資料的地方,像是股匯市行情、或路面監視器、網路直播軟體產生的影像,如果從程式端接收時,會疲於奔命處理而無暇應付,例如網路頻寬不足,或者是儲存設備速度無法配合等。 採用 Stream 可以作為負責作為接收資料的最前緣,並制定需要保留的緩衝區保鮮期,可以有助於應付洪水猛獸般的龐大資料串流。

重要區別 / 和 SQS 比較

  • Kinesis 可以重複播放(Replay),而另一種類似的 SQS 訊息佇列則不行
  • 串流資料單個資料碎片大小可以支援到 1MB,SQS 訊息單封最多 256KB
  • Kinesis 可以多人同時收聽; SQS 是訊息排隊的佇列,所以只能被消費一次(be consumed by consumer once)
  • Kinesis Stream 內的資料可以留存 1天 ~ 1年之久; SQS 的資料則可以留 1分鐘 ~ 14天

結論

  • 適合接收源源不絕的資料
  • 理論上是扛得住群體圍毆

上一篇
【Day 21】 做題庫小試身手 - 5
下一篇
【Day 23】 Amazon Kinesis Firehose 的簡單介紹
系列文
老闆,外帶一份 AWS Certified Data Engineer30
圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言