iT邦幫忙

2021 iThome 鐵人賽

DAY 25
0
DevOps

AWS Solution Architect Associate的鐵人不只三項證照之路系列 第 25

Day 25 大數據下的三兄弟-從Kinesis到EMR與Redshift

承接昨天提到的Kinesis巨量資料傳遞,我們今天繼續延伸巨量資料傳遞後的處理與儲存。

1. Kinesis、EMR與Redshift的應用價值

Kinesis用於巨量與即時資料接收與傳遞;EMR(Elastic Map Reduce)用於處理巨量資料的運算;Redshift用於資料倉儲。整合Kinesis、EMR與Redshift這三項服務,有助於建置一套完善的巨量資料串接、資料處理以及資料倉儲的架構

2. 應用架構

昨天提到了Kinesis,今天來了解一下Kinesis如何連結EMR和Redshift,依此做資料的處理和儲存。

2.1 EMR (Elastic Map Reduce)

回顧一下昨天的架構圖,Kinesis接收到流量後,會交由Consumer去處理,這邊的Consumer除了EC2以外,也可以是EMR。EMR本身可以理解為一系列的EC2的叢集,其底層架構設計是Hadoop,用於巨量資料的處理。由於EMR底層是由EC2所組成,當有需要調整系統的設置時,可以透過SSH方式,連線進入EMR。

2.2 Redshift

Redshift是column-based的資料庫,適用於PB等級的結構化資料,進行各樣的分析與查詢。目前提供兩種類型的機器服務:

  • Dense Compute: 強調運算的服務,適合有資料分析方面的需求者。
  • Desnse Storage: 強調儲存的服務,適合有資料倉儲需求者。
    如下圖,Redshift可以承接來自EMR處理過後的資料,並將資料提供給BI(Business Intelligence)服務平台,如Power BI。

上一篇
Day 24 物聯網大數據的數據捕手Kinesis
下一篇
Day 26 Serverless的運算服務-AWS Lambda
系列文
AWS Solution Architect Associate的鐵人不只三項證照之路30

尚未有邦友留言

立即登入留言