iT邦幫忙

鐵人檔案

2025 iThome 鐵人賽
回列表
Build on AWS

動漫宅的 30 天 AWS Lakehouse 修行日誌 系列

身為一名動漫宅數據工程師,本系列將用 30 天的時間,透過 AWS Lakehouse 架構來打造一個動漫數據的雲端分析平台。

在這個系列裡,你會接觸到:
- 基礎的資料領域知識
- 從 0 開始的雲端建設之路(S3、Glue、Athena...)
- 動漫數據集如何變身成可視化儀表板

雲端已然成為一個必學的領域,讓我們一起在技術與興趣之間找到學習的樂趣!

參賽天數 23 天 | 共 23 篇文章 | 7 人訂閱 訂閱系列文 RSS系列文 團隊三陳牛肉吉事堡
DAY 21

Day21 淬鍊之章-多檔案上傳 ETL 流程-實作篇1

簡介 在 Day20 淬鍊之章-多檔案上傳 ETL 流程-設計篇 中,我們探討了三種多檔案上傳控制的解法: ✅ DynamoDB 狀態表 🔁 SQS 批次處理...

2025-10-05 ‧ 由 小田 分享
DAY 22

Day22 淬鍊之章-多檔案上傳 ETL 流程-實作篇2

簡介 在上篇 Day21 淬鍊之章-多檔案上傳 ETL 流程-實作篇1 中,我們設計了一個 EventBridge 定期排程觸發 Lambda 並呼叫 Glue...

2025-10-06 ‧ 由 小田 分享
DAY 23

Day23 淬鍊之章-資料補跑機制 Backfill 實作篇

簡介 在上篇 「Day22 淬鍊之章-多檔案上傳 ETL 流程-實作篇2」 中,我們完成了完整的檔案檢查與 ETL 排程機制。 不過在實務中,難免會出現這些情況...

2025-10-07 ‧ 由 小田 分享