身為一名動漫宅數據工程師,本系列將用 30 天的時間,透過 AWS Lakehouse 架構來打造一個動漫數據的雲端分析平台。
在這個系列裡,你會接觸到:
- 基礎的資料領域知識
- 從 0 開始的雲端建設之路(S3、Glue、Athena...)
- 動漫數據集如何變身成可視化儀表板
雲端已然成為一個必學的領域,讓我們一起在技術與興趣之間找到學習的樂趣!
簡介 在 Day20 淬鍊之章-多檔案上傳 ETL 流程-設計篇 中,我們探討了三種多檔案上傳控制的解法: ✅ DynamoDB 狀態表 🔁 SQS 批次處理...
簡介 在上篇 Day21 淬鍊之章-多檔案上傳 ETL 流程-實作篇1 中,我們設計了一個 EventBridge 定期排程觸發 Lambda 並呼叫 Glue...
簡介 在上篇 「Day22 淬鍊之章-多檔案上傳 ETL 流程-實作篇2」 中,我們完成了完整的檔案檢查與 ETL 排程機制。 不過在實務中,難免會出現這些情況...