iT邦幫忙

2023 iThome 鐵人賽

DAY 7
0
AI & Data

夥伴們!一起航向AWS Certified Machine Learning Specialty的偉大航道吧!系列 第 7

Day 7 第一站 Data Engineering - 各式各樣的資料搬移與串接任務

  • 分享至 

  • xImage
  •  

除了先前提到的Glue以外,AWS上還有其他根據資料處理目的而設計的資料搬動與串接服務。以下分別跟大家說明:

AWS Data Pipeline
能拉動local端資料,也能串連AWS資料儲存服務,如S3、RDS、DynamoDB、Redshift。

AWS Batch

  • 執行環境:每一個Job都有各自定義好的Docker Image
  • 執行資源:屬於Serverless服務,可動態找出最佳的資源組合(EC2 Instance and Spot Instance)
  • 執行時程:利用CloudWatch Events來安排
  • 執行邏輯:透過Step Function來定義工作之間的相依性

DMS(Data Migration Service)
DMS用於資料的遷移。在啟動一台EC2機器資源之後,能將資料從資料庫A遷移到資料庫B。資料庫可以是同一款的(homogeneous),例如PostgresSQL到PostgreSQL,或者不同的(heterogenous)資料庫,如MS SQL Server遷移到Oracle。

Data Sync
local端的資料,透過DataSync Agent(VM),同步更新到AWS雲端儲存空間(S3、EFS、FSx)。

MQTT(Message Queuing Telemetry Transport)
是一種輕量級的IOT通訊協定,能將local端的sensor資料串連到AWS Machine Learning服務端。

https://ithelp.ithome.com.tw/upload/images/20230922/20111554ICmB1IajQV.png


今天不免俗的,一樣透過ChatGPT出題來幫大家複習一下:

情境1:資料遷移

你需要將一個龐大的資料庫從一個 AWS 區域遷移到另一個 AWS 區域。哪種 AWS 服務最適合這項任務?

A) AWS Glue
B) Data Pipeline
C) AWS Batch
D) DMS(資料庫遷移服務)
E) DataSync

答案:D) DMS(資料庫遷移服務)

情境2:資料處理

你有一項需要定期執行的大規模資料處理工作,涉及大量資料的抽取、轉換和載入(ETL)。你希望能夠自動化工作流程並根據需要調整資源規模。哪種 AWS 服務最適合這項任務?

A) AWS Glue
B) Data Pipeline
C) AWS Batch
D) DMS(資料庫遷移服務)
E) DataSync

答案:A) AWS Glue

情境3:物聯網數據

你正在建立一個物聯網(IoT)應用程序,需要將感測器數據從設備上傳輸到雲端,並處理這些數據以進行分析。哪種 AWS 服務最適合處理實時感測器數據?

A) AWS Glue
B) Data Pipeline
C) AWS Batch
D) DMS(資料庫遷移服務)
E) MQTT(MQ Telemetry Transport)

答案:E) MQTT(MQ Telemetry Transport)


上一篇
Day 6 第一站 Data Engineering - Data Stores for Machine Learning
下一篇
Day 8 第二站 Exploratory Data Analysis - 不同的資料型別
系列文
夥伴們!一起航向AWS Certified Machine Learning Specialty的偉大航道吧!30
圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言