iT邦幫忙

2021 iThome 鐵人賽

DAY 22
0
AI & Data

Data on Air - 以AWS服務實作雲端數據分析系列 第 22

DAY 22 Big Data 5Vs – Variety(速度) Kinesis (2)

接續介紹Kinesis家族中其它更實用的資料分析服務:

進入Kinesis服務首頁可以看到這三個常常整合在一起的服務
https://ithelp.ithome.com.tw/upload/images/20211004/20140161UkgaUUJNaz.jpg

Kinesis Data Stream(KDS):
KDS是擴展性高且可靠的「即時real-time」資料串流服務,每秒可以持續從數以千計的資料源接收高達GB等級的資料。資料預設存24小時,可以調高累積至7天,7天以上可另外申請至365天。
https://ithelp.ithome.com.tw/upload/images/20211004/20140161s1zM7VLaKZ.jpg(圖片來源*)
KDS重要的三個部分:Producer → Data Stream → Consumer

首先建立的是資料串流,可以從左邊工具欄或直接點選首頁中按鈕建立
https://ithelp.ithome.com.tw/upload/images/20211004/20140161qsBJ4p4riA.jpg
Data Stream資料串流中的元件:

  • Record:KDS中儲存資料的基本單位。
    -Shard:是一連串的Record,每個Stream中有一個以上的Shard,建立時設定以stream為單位的累積容量。串流的總容量就是其中每個Shard容量的總和。
    -Partition Key : 可以將Stream中的Shard分組,有利於提高流量(throughput)。Producer在設計資料要傳送到哪個Stream時需要指定Partition Key。是利用Hash 函數來分散Record到Shard。
    -Sequence Number : 每個Record都有Sequence Number

建立完成後就會有ARN供其它服務來訂閱
https://ithelp.ithome.com.tw/upload/images/20211004/20140161a19nIJQUBq.jpg
Producer生產者:
產生Record並傳送至指定的Shard
依建立方式分三類型:Kinesis Agent、AWS SDK、AWS KPL

Consumer消費者,也稱為 Kinesis Data Streams 應用程式:
從指定Shard中讀取Record
依建立方式分三類型:KDA、KDF、AWS KCL

*圖片來源 ( https://docs.aws.amazon.com/zh_tw/streams/latest/dev/images/architecture.png )


上一篇
DAY 21 Big Data 5Vs – Variety(速度) Kinesis (1)
下一篇
DAY 23 Big Data 5Vs – Variety(速度) Kinesis (3)
系列文
Data on Air - 以AWS服務實作雲端數據分析30

尚未有邦友留言

立即登入留言