iT邦幫忙

2021 iThome 鐵人賽

DAY 4
2
AI & Data

Data on AWS - 實作建立 Data Analytics Pipeline系列 第 4

【Day 04】 Data Analytics Pipeline 對應於 AWS 中的服務 ( 2 )

今天繼續針對 Data Analytics Pipeline on AWS 中常見的 AWS 服務來做說明:
https://ithelp.ithome.com.tw/upload/images/20210918/201310734EgzPREnz5.png


Data Storage Services:

  • AWS S3 [1]
    它提供一個簡單的 Web 服務界面,可存放需要的任意類型和任意數量的資料,這些操作可從任何位置隨時執行;Amazon S3 也可以透過 UI 介面簡單定義資料的存取權限設定,確保資料安全性以及設定生命週期,將資料的創造、抓取、保留、備份、到銷毀的整個過程都能加以管理,並根據資料的存取頻繁度或新舊,將資料搬移到合適的儲存服務中,以大幅減省儲存費用的支出。
  • AWS Redshift [2]
    Redshift 是一個完全託管的 PB 級的資料倉儲服務,它底層是基於 PostgreSQL 建構的,當今天資料量與筆數非常龐大或是 SQL 的計算較複雜,適合使用 Redshift,因 Redshift 的儲存以及運算都採用分散式,故查詢速度以及儲存量都較大較快。

Data Analytics & Visualization:

  • AWS Athena [3]
    是一個無伺服器查詢服務,因 Athena 是基於 Presto 之下,提供完整的標準 SQL 支援且能接受各種標準資料格式,當分析資料量不大、想快速產生報表且不想透過程式進行,Athena 則非常適合你。
    註:若分析量大時則可以使用 Redshift,Redshift 也可以透過 SQL 語法進行 Data Analytics。
  • AWS QuickSight [4]
    它是一個無伺服器 BI 服務,可以輕鬆地建立和發佈互動式儀表板,而它也是第一種依工作階段計費定價的 BI 服務(僅當使用者存取儀表板或報表時才付費), 非常具成本利益。
  • Amazon OpenSearch Service (先前的名字為 Amazon Elasticsearch Service ) [5]
    OpenSearch 源自 Elasticsearch 7.10.2 和 Kibana 7.10.2,它是一種分佈式開源搜索和分析服務,可以使用 AWS 管理控制台簡單快速布建 OpenSearch Service 集群來快速蒐集和分析資料。

後續實作,我們也會透過這兩天介紹的這些 AWS 服務建立出合適的 Data Analytics Pipeline,快速簡單地蒐集處理資料以及進行視覺化分析


接著明天就會進入我們資料實作前戲-建置 WordPress on AWS 的部分囉! 我們明天見:)
如果有任何指點與建議,也歡迎留言交流,一起漫步在 Data on AWS 中。

參考&相關來源:
[1] AWS S3
https://aws.amazon.com/tw/s3/?nc=sn&loc=0
[2] AWS Redshift
https://aws.amazon.com/tw/redshift/?whats-new-cards.sort-by=item.additionalFields.postDateTime&whats-new-cards.sort-order=desc
[3] AWS Athena
https://aws.amazon.com/tw/athena/?whats-new-cards.sort-by=item.additionalFields.postDateTime&whats-new-cards.sort-order=desc
[4] AWS QuickSight
https://aws.amazon.com/tw/quicksight/?nc=sn&loc=0
[5] Amazon Elasticsearch Service
https://aws.amazon.com/tw/elasticsearch-service/


上一篇
【Day 03】 Data Analytics Pipeline 對應於 AWS 中的服務 ( 1 )
下一篇
【Day 05】 實作 - 設置初始環境於 AWS 建置個人的 WordPress 網站
系列文
Data on AWS - 實作建立 Data Analytics Pipeline30

尚未有邦友留言

立即登入留言