除了先前提到的Glue以外,AWS上還有其他根據資料處理目的而設計的資料搬動與串接服務。以下分別跟大家說明:
AWS Data Pipeline
能拉動local端資料,也能串連AWS資料儲存服務,如S3、RDS、DynamoDB、Redshift。
AWS Batch
DMS(Data Migration Service)
DMS用於資料的遷移。在啟動一台EC2機器資源之後,能將資料從資料庫A遷移到資料庫B。資料庫可以是同一款的(homogeneous),例如PostgresSQL到PostgreSQL,或者不同的(heterogenous)資料庫,如MS SQL Server遷移到Oracle。
Data Sync
local端的資料,透過DataSync Agent(VM),同步更新到AWS雲端儲存空間(S3、EFS、FSx)。
MQTT(Message Queuing Telemetry Transport)
是一種輕量級的IOT通訊協定,能將local端的sensor資料串連到AWS Machine Learning服務端。
今天不免俗的,一樣透過ChatGPT出題來幫大家複習一下:
情境1:資料遷移
你需要將一個龐大的資料庫從一個 AWS 區域遷移到另一個 AWS 區域。哪種 AWS 服務最適合這項任務?
A) AWS Glue
B) Data Pipeline
C) AWS Batch
D) DMS(資料庫遷移服務)
E) DataSync
答案:D) DMS(資料庫遷移服務)
情境2:資料處理
你有一項需要定期執行的大規模資料處理工作,涉及大量資料的抽取、轉換和載入(ETL)。你希望能夠自動化工作流程並根據需要調整資源規模。哪種 AWS 服務最適合這項任務?
A) AWS Glue
B) Data Pipeline
C) AWS Batch
D) DMS(資料庫遷移服務)
E) DataSync
答案:A) AWS Glue
情境3:物聯網數據
你正在建立一個物聯網(IoT)應用程序,需要將感測器數據從設備上傳輸到雲端,並處理這些數據以進行分析。哪種 AWS 服務最適合處理實時感測器數據?
A) AWS Glue
B) Data Pipeline
C) AWS Batch
D) DMS(資料庫遷移服務)
E) MQTT(MQ Telemetry Transport)
答案:E) MQTT(MQ Telemetry Transport)