系列文章
DAY11 雲端基礎章-建立 VPC
簡介 在上篇 「DAY10 雲端基礎章-VPC 基礎概念篇」 中，介紹 AWS 的網路服務 VPC (Virtual Private Cloud, 虛擬私有雲)...
DAY12 雲端基礎章-S3 Data Lakehouse 儲存結構設計
簡介 在 DAY2 知識之章-理解資料本源 與 DAY6 知識之章-儲存的基石 Amazon S3 中，我們分別介紹了本系列所使用的資料檔案和 S3 的儲存機制...
DAY13 雲端基礎章-Lambda、EventBridge 概念篇
簡介 在上篇「DAY12 雲端基礎章-S3 Data Lakehouse 儲存結構設計」 中，我們介紹了 Anime Data Lake 架構設計，今天要來介紹...
DAY14 雲端基礎章-S3、Lambda、EventBridge 實作篇
簡介 在 DAY12 雲端基礎章-S3 Data Lakehouse 儲存結構設計 中我們介紹了本次將要建立的 S3 Data Lake 儲存架構，並於 DAY...
DAY15 淬鍊之章-Glue 概念篇
簡介 我們通過上篇 DAY14 雲端基礎章-S3、Lambda、EventBridge 實作篇，體驗到事件驅動自動化的方便性。 今天我們要進入 淬鍊之章，正式開...
Day16 淬鍊之章-Glue 實作篇-1
簡介 我們通過上篇 DAY15 淬鍊之章-Glue 概念篇 了解到了 Glue 的概念與核心功能。 本篇我們要來實際使用 Glue 建立 Silver PySp...
Day17 淬鍊之章-Glue 實作篇-2
簡介 在上篇 Day16 淬鍊之章-Glue 實作篇-1 中，我們實作了 Glue 所需的 IAM Role 建立和指派，以及實際建立一支 Glue PySpa...
Day18 淬鍊之章-使用 Lambda 呼叫 Glue Workflow
簡介 在 Day17 淬鍊之章-Glue 實作篇-2 中，我們已經介紹了 Glue Workflow，它能將多個 Glue Job 串接成一個完整的資料處理流程...
Day19 淬鍊之章-使用 Athena 驗證資料
簡介 在上篇 Day18 淬鍊之章-使用 Lambda 呼叫 Glue Workflow 中，我們已經把資料寫入到 Iceberg。 本篇要介紹 Amazon...
Day20 淬鍊之章-多檔案上傳 ETL 流程-設計篇
簡介 在 Day18 淬鍊之章-使用 Lambda 呼叫 Glue Workflow 中，我們成功完成了整個自動化資料處理流程： S3 → EventBrid...