iT邦幫忙

鐵人檔案

2025 iThome 鐵人賽
回列表
Build on AWS

動漫宅的 30 天 AWS Lakehouse 修行日誌 系列

身為一名動漫宅數據工程師,本系列將用 30 天的時間,透過 AWS Lakehouse 架構來打造一個動漫數據的雲端分析平台。

在這個系列裡,你會接觸到:
- 基礎的資料領域知識
- 從 0 開始的雲端建設之路(S3、Glue、Athena...)
- 動漫數據集如何變身成可視化儀表板

雲端已然成為一個必學的領域,讓我們一起在技術與興趣之間找到學習的樂趣!

參賽天數 23 天 | 共 23 篇文章 | 7 人訂閱 訂閱系列文 RSS系列文 團隊三陳牛肉吉事堡
DAY 1

DAY1 知識之章-啟程

簡介 Hi 我是 Andy 一個「宅宅數據工程師」,這是我第一次參加鐵人賽,我想透過此次競賽來學習一些 AWS 的相關服務,順便鍛鍊一下我撰寫文章的能力,此系列...

2025-09-15 ‧ 由 小田 分享
DAY 2

DAY2 知識之章-理解資料本源

簡介 在上篇 DAY1 知識之章-啟程 中,我們聊到本系列文章的整體規劃。 本篇將介紹此系列會使用到的資料集,讓我們一起來看看資料的來源與資料結構。 資料介紹...

2025-09-16 ‧ 由 小田 分享
DAY 3

DAY3 知識之章-Data Lake,Warehouse and Lakehouse

簡介 在上篇 DAY2 知識之章-理解資料本源 中,我們介紹到本次的資料集內容,了解需要分析的資料集後,我需要選擇一個適合的數據架構,於是今天我們要來了解一下...

2025-09-17 ‧ 由 小田 分享
DAY 4

DAY4 知識之章-Open Data Format

簡介 在 DAY3 知識之章-Data Lake, Warehouse and Lakehouse 中,我們聊到新的儲存架構。本篇要帶大家認識 開放數據格式 (...

2025-09-18 ‧ 由 小田 分享
DAY 5

DAY5 知識之章-Apache Iceberg

簡介 在上篇 DAY4 知識之章-Open Data Format 中,我們聊到各種開放數據格式的特性。 本篇要介紹的是 Data Lakehouse 架構的核...

2025-09-19 ‧ 由 小田 分享
DAY 6

DAY6 知識之章-儲存的基石 Amazon S3

簡介 在上篇 DAY5 知識之章 - Apache Iceberg 中,我們介紹了 Iceberg 的詳細內容與應用場景。 本篇我們要來介紹 AWS Lakeh...

2025-09-20 ‧ 由 小田 分享
DAY 7

DAY7 雲端基礎章-IAM 基礎概念篇

簡介 在前幾天的文章裡,我們已經介紹了 Data Lakehouse 的基礎、資料來源以及 Amazon S3 與資料格式的重要性。 但如果要真正開始在 AWS...

2025-09-21 ‧ 由 小田 分享
DAY 8

DAY8 雲端基礎章-建立 AWS 帳號、設定 MFA 與預算通知

簡介 在上篇 「DAY7 雲端基礎章-IAM 基礎概念篇」我們學會了 IAM 的基本概念,包括 User、Group、Role 與 Policy 的角色定位。...

2025-09-22 ‧ 由 小田 分享
DAY 9

DAY9 雲端基礎章-建立 IAM Group 與 User

簡介 在上篇 DAY8 雲端基礎章-建立 AWS 帳號、設定 MFA 與預算通知 中,我們介紹了如何建立帳號、MFA 設定還有預算通知。 本篇我們要來實際啟動「...

2025-09-23 ‧ 由 小田 分享
DAY 10

DAY10 雲端基礎章-VPC 基礎概念篇

簡介 在上篇 DAY9 雲端基礎章-建立 IAM Group 與 User 中,我們實際建立了 IAM Group 與 User,並驗證了不同 Policy 所...

2025-09-24 ‧ 由 小田 分享