第十七屆 佳作

build-on-aws
動漫宅的 30 天 AWS Lakehouse 修行日誌
小田

系列文章

DAY 1

DAY1 知識之章-啟程

簡介 Hi 我是 Andy 一個「宅宅數據工程師」,這是我第一次參加鐵人賽,我想透過此次競賽來學習一些 AWS 的相關服務,順便鍛鍊一下我撰寫文章的能力,此系列...

DAY 2

DAY2 知識之章-理解資料本源

簡介 在上篇 DAY1 知識之章-啟程 中,我們聊到本系列文章的整體規劃。 本篇將介紹此系列會使用到的資料集,讓我們一起來看看資料的來源與資料結構。 資料介紹...

DAY 3

DAY3 知識之章-Data Lake,Warehouse and Lakehouse

簡介 在上篇 DAY2 知識之章-理解資料本源 中,我們介紹到本次的資料集內容,了解需要分析的資料集後,我需要選擇一個適合的數據架構,於是今天我們要來了解一下...

DAY 4

DAY4 知識之章-Open Data Format

簡介 在 DAY3 知識之章-Data Lake, Warehouse and Lakehouse 中,我們聊到新的儲存架構。本篇要帶大家認識 開放數據格式 (...

DAY 5

DAY5 知識之章-Apache Iceberg

簡介 在上篇 DAY4 知識之章-Open Data Format 中,我們聊到各種開放數據格式的特性。 本篇要介紹的是 Data Lakehouse 架構的核...

DAY 6

DAY6 知識之章-儲存的基石 Amazon S3

簡介 在上篇 DAY5 知識之章 - Apache Iceberg 中,我們介紹了 Iceberg 的詳細內容與應用場景。 本篇我們要來介紹 AWS Lakeh...

DAY 7

DAY7 雲端基礎章-IAM 基礎概念篇

簡介 在前幾天的文章裡,我們已經介紹了 Data Lakehouse 的基礎、資料來源以及 Amazon S3 與資料格式的重要性。 但如果要真正開始在 AWS...

DAY 8

DAY8 雲端基礎章-建立 AWS 帳號、設定 MFA 與預算通知

簡介 在上篇 「DAY7 雲端基礎章-IAM 基礎概念篇」我們學會了 IAM 的基本概念,包括 User、Group、Role 與 Policy 的角色定位。...

DAY 9

DAY9 雲端基礎章-建立 IAM Group 與 User

簡介 在上篇 DAY8 雲端基礎章-建立 AWS 帳號、設定 MFA 與預算通知 中,我們介紹了如何建立帳號、MFA 設定還有預算通知。 本篇我們要來實際啟動「...

DAY 10

DAY10 雲端基礎章-VPC 基礎概念篇

簡介 在上篇 DAY9 雲端基礎章-建立 IAM Group 與 User 中,我們實際建立了 IAM Group 與 User,並驗證了不同 Policy 所...