鐵人檔案
身為一名動漫宅數據工程師，本系列將用 30 天的時間，透過 AWS Lakehouse 架構來打造一個動漫數據的雲端分析平台。
在這個系列裡，你會接觸到：
- 基礎的資料領域知識
- 從 0 開始的雲端建設之路（S3、Glue、Athena...）
- 動漫數據集如何變身成可視化儀表板
雲端已然成為一個必學的領域，讓我們一起在技術與興趣之間找到學習的樂趣！
簡介 在 Day20 淬鍊之章-多檔案上傳 ETL 流程-設計篇 中，我們探討了三種多檔案上傳控制的解法： ✅ DynamoDB 狀態表 🔁 SQS 批次處理...
簡介 在上篇 Day21 淬鍊之章-多檔案上傳 ETL 流程-實作篇1 中，我們設計了一個 EventBridge 定期排程觸發 Lambda 並呼叫 Glue...
簡介 在上篇 「Day22 淬鍊之章-多檔案上傳 ETL 流程-實作篇2」 中，我們完成了完整的檔案檢查與 ETL 排程機制。 不過在實務中，難免會出現這些情況...
簡介 在上篇 「Day23 淬鍊之章-資料補跑機制 Backfill 實作篇」中我們完成 Backfill 機制後，我們的資料管線已經具備了自動化與穩定性的基礎...
簡介 在上篇 「Day24 視覺之章-Lake Formation 概念篇」中，我們理解了 Lake Formation 的基本概念，本篇我們要來實際建立透過...
簡介 在前幾篇文章中，我們透過 Glue、Athena、Lake Formation 打造出完整的 Data Lakehouse 架構，讓資料能夠被安全地儲存、...
簡介 在上篇 「Day26 視覺之章-QuickSight 概念篇」中，我們簡單的介紹了 AWS 的 BI 服務 QuickSight 的基本概念，本篇讓我們來...
簡介 透過 CloudWatch 與 CloudTrail 讓 AWS Service 擁有「可監控、可追蹤」的功能。 本篇將介紹： 什麼是 Amazon...
簡介 本篇將實際建立 CloudWatch Metric、Alarm、以及 CloudTrail 操作紀錄。 在上一篇 「Day28 維運之章 - Clou...
簡介 首先先感謝讀到今天的你們，本篇是 30 天文章挑戰的最後一篇文章，一開始我們從一份 MyAnimeList 動漫資料集出發，旅途中我們使用了不少 AWS...
