技術問答
技術文章
iT 徵才
Tag
聊天室
2024 鐵人賽
登入/註冊
問答
文章
Tag
邦友
鐵人賽
搜尋
2024 iThome 鐵人賽
DAY
22
0
佛心分享-我的證照是這樣攻略的
老闆,外帶一份 AWS Certified Data Engineer
系列 第
22
篇
【Day 22】 Amazon Kinesis Data Streams 的簡單介紹
16th鐵人賽
aws
dea-c01
data engineer
kinesis
二坪山小弱砲
2024-10-06 22:58:34
87 瀏覽
分享至
在前面做題庫的部分,出現了關於 「Amazon Kinesis Data Streams」,所以今天來說說這個服務。
REF
Amazon Kinesis Data Streams
概念
看到 Kinesis 系列的服務,主要有三類四種。
Stream 類
Data Stream
Video Stream
Firehose 類
Analytics 類
今天先來講
Data Streams
文件都說他是低延遲的服務(70 ms),可以用來收串流資料,或者收影像串流。
一些會源源不絕吐出資料的地方,像是股匯市行情、或路面監視器、網路直播軟體產生的影像,如果從程式端接收時,會疲於奔命處理而無暇應付,例如網路頻寬不足,或者是儲存設備速度無法配合等。 採用 Stream 可以作為負責作為接收資料的最前緣,並制定需要保留的緩衝區保鮮期,可以有助於應付洪水猛獸般的龐大資料串流。
重要區別 / 和 SQS 比較
Kinesis 可以重複播放(Replay),而另一種類似的 SQS 訊息佇列則不行
串流資料單個資料碎片大小可以支援到 1MB,SQS 訊息單封最多 256KB
Kinesis 可以多人同時收聽; SQS 是訊息排隊的佇列,所以只能被消費一次(be consumed by consumer once)
Kinesis Stream 內的資料可以留存 1天 ~ 1年之久; SQS 的資料則可以留 1分鐘 ~ 14天
結論
適合接收源源不絕的資料
理論上是扛得住群體圍毆
留言
追蹤
檢舉
上一篇
【Day 21】 做題庫小試身手 - 5
下一篇
【Day 23】 Amazon Kinesis Firehose 的簡單介紹
系列文
老闆,外帶一份 AWS Certified Data Engineer
共
30
篇
目錄
RSS系列文
訂閱系列文
3
人訂閱
26
【Day 26】 做題庫小試身手 - 7
27
【Day 27】 做題庫小試身手 - 8
28
【Day 28】 做題庫小試身手 - 9
29
【Day 29】 做題庫小試身手 - 10
30
【Day 29】 做題庫小試身手 - 11
完整目錄
直播研討會
{{ item.subject }}
{{ item.channelVendor }}
{{ item.webinarstarted }}
|
{{ formatDate(item.duration) }}
直播中
立即報名
尚未有邦友留言
立即登入留言
iThome鐵人賽
參賽組數
1064
組
團體組數
40
組
累計文章數
22201
篇
完賽人數
602
人
看影片追技術
看更多
{{ item.subject }}
{{ item.channelVendor }}
|
{{ formatDate(item.duration) }}
直播中
熱門tag
看更多
15th鐵人賽
16th鐵人賽
13th鐵人賽
14th鐵人賽
12th鐵人賽
11th鐵人賽
鐵人賽
2019鐵人賽
javascript
2018鐵人賽
python
2017鐵人賽
windows
php
c#
windows server
linux
css
react
vue.js
熱門問題
熟識南投軟體工程師推薦
如何練國考資訊題?
筆電無法使用usb開機重裝系統
CCNA相關問題詢問
電商在販售商品時,可以自行縮短保固期限嗎?
求救 有人會修改cookie權限嗎
python scrapy pipeline實作問題請教
防火牆互通問題
函數問題
桌面的使用者文件圖標壞掉
熱門回答
防火牆互通問題
筆電無法使用usb開機重裝系統
if函數中的>&<&=是否可以使用儲存格代替
開啟Microsoft Edge 瀏覽器無法開啟網頁,出現錯誤訊息
熟識南投軟體工程師推薦
熱門文章
每日一篇學習筆記 直到我做完專題 :( [Day1]
每日一篇學習筆記 直到我做完專題 :( [Day2]
[翻譯]使用AI工具寫程式碼時如何避免「AI幻覺」?
每日一篇學習筆記 直到我做完專題 :( [Day3]
每日一篇學習筆記 直到我做完專題 :( [Day4]
IT邦幫忙
×
標記使用者
輸入對方的帳號或暱稱
Loading
找不到結果。
標記
{{ result.label }}
{{ result.account }}