身為一名動漫宅數據工程師,本系列將用 30 天的時間,透過 AWS Lakehouse 架構來打造一個動漫數據的雲端分析平台。
在這個系列裡,你會接觸到:
- 基礎的資料領域知識
- 從 0 開始的雲端建設之路(S3、Glue、Athena...)
- 動漫數據集如何變身成可視化儀表板
雲端已然成為一個必學的領域,讓我們一起在技術與興趣之間找到學習的樂趣!
簡介 Hi 我是 Andy 一個「宅宅數據工程師」,這是我第一次參加鐵人賽,我想透過此次競賽來學習一些 AWS 的相關服務,順便鍛鍊一下我撰寫文章的能力,此系列...
簡介 在上篇 DAY1 知識之章-啟程 中,我們聊到本系列文章的整體規劃。 本篇將介紹此系列會使用到的資料集,讓我們一起來看看資料的來源與資料結構。 資料介紹...
簡介 在上篇 DAY2 知識之章-理解資料本源 中,我們介紹到本次的資料集內容,了解需要分析的資料集後,我需要選擇一個適合的數據架構,於是今天我們要來了解一下...
簡介 在 DAY3 知識之章-Data Lake, Warehouse and Lakehouse 中,我們聊到新的儲存架構。本篇要帶大家認識 開放數據格式 (...
簡介 在上篇 DAY4 知識之章-Open Data Format 中,我們聊到各種開放數據格式的特性。 本篇要介紹的是 Data Lakehouse 架構的核...
簡介 在上篇 DAY5 知識之章 - Apache Iceberg 中,我們介紹了 Iceberg 的詳細內容與應用場景。 本篇我們要來介紹 AWS Lakeh...
簡介 在前幾天的文章裡,我們已經介紹了 Data Lakehouse 的基礎、資料來源以及 Amazon S3 與資料格式的重要性。 但如果要真正開始在 AWS...
簡介 在上篇 「DAY7 雲端基礎章-IAM 基礎概念篇」我們學會了 IAM 的基本概念,包括 User、Group、Role 與 Policy 的角色定位。...
簡介 在上篇 DAY8 雲端基礎章-建立 AWS 帳號、設定 MFA 與預算通知 中,我們介紹了如何建立帳號、MFA 設定還有預算通知。 本篇我們要來實際啟動「...
簡介 在上篇 DAY9 雲端基礎章-建立 IAM Group 與 User 中,我們實際建立了 IAM Group 與 User,並驗證了不同 Policy 所...