系列文章
Day21 淬鍊之章-多檔案上傳 ETL 流程-實作篇1
簡介 在 Day20 淬鍊之章-多檔案上傳 ETL 流程-設計篇 中，我們探討了三種多檔案上傳控制的解法： ✅ DynamoDB 狀態表 🔁 SQS 批次處理...
Day22 淬鍊之章-多檔案上傳 ETL 流程-實作篇2
簡介 在上篇 Day21 淬鍊之章-多檔案上傳 ETL 流程-實作篇1 中，我們設計了一個 EventBridge 定期排程觸發 Lambda 並呼叫 Glue...
Day23 淬鍊之章-資料補跑機制 Backfill 實作篇
簡介 在上篇 「Day22 淬鍊之章-多檔案上傳 ETL 流程-實作篇2」 中，我們完成了完整的檔案檢查與 ETL 排程機制。 不過在實務中，難免會出現這些情況...
Day24 視覺之章-Lake Formation 概念篇
簡介 在上篇 「Day23 淬鍊之章-資料補跑機制 Backfill 實作篇」中我們完成 Backfill 機制後，我們的資料管線已經具備了自動化與穩定性的基礎...
Day25 視覺之章-Lake Formation 實作篇
簡介 在上篇 「Day24 視覺之章-Lake Formation 概念篇」中，我們理解了 Lake Formation 的基本概念，本篇我們要來實際建立透過...
Day26 視覺之章-QuickSight 概念篇
簡介 在前幾篇文章中，我們透過 Glue、Athena、Lake Formation 打造出完整的 Data Lakehouse 架構，讓資料能夠被安全地儲存、...
Day27 視覺之章-QuickSight 實作篇
簡介 在上篇 「Day26 視覺之章-QuickSight 概念篇」中，我們簡單的介紹了 AWS 的 BI 服務 QuickSight 的基本概念，本篇讓我們來...
Day28 監控之章-CloudWatch、CloudTrail 概念篇
簡介 透過 CloudWatch 與 CloudTrail 讓 AWS Service 擁有「可監控、可追蹤」的功能。 本篇將介紹： 什麼是 Amazon...
Day29 監控之章-CloudWatch、CloudTrail 實作篇
簡介 本篇將實際建立 CloudWatch Metric、Alarm、以及 CloudTrail 操作紀錄。 在上一篇 「Day28 維運之章 - Clou...
Day30 回顧之章 -AWS 成本評估與系列文總結
簡介 首先先感謝讀到今天的你們，本篇是 30 天文章挑戰的最後一篇文章，一開始我們從一份 MyAnimeList 動漫資料集出發，旅途中我們使用了不少 AWS...