iT邦幫忙

鐵人檔案

2026 iThome 鐵人賽
回列表
Software Development

使用 Serverless 架構設計廣告點擊系統 系列

繼去年亞馬遜熱帶雨林生存日記後,今年除了繼續亞馬遜熱帶雨林之外,使用Serverless 架構設計了 data 的架構,也結合不同儲存資料庫,達成不同的目的!

參賽天數 21 天 | 共 21 篇文章 | 0 人訂閱 訂閱系列文 RSS系列文
DAY 11

Day 11: 批次寫入資料 - DynamoDB

DynamoDB 的部分,要做 batch 的話,需要把 put_item 改用 batch_write_item ,才能把多筆資料一起塞到 table 裡。...

2026-09-25 ‧ 由 Judy Huang 分享
DAY 12

Day 12: 用 AWS Glue Python Shell Job 把 S3 上的 JSON 檔轉成 Parquet 檔(上)

許多團隊在 AWS 上累積資料時,常見的起手式是:先把 JSON 格式的資料寫到 S3。這樣寫入在一開始很方便,但當你開始想要: 統一 schema(欄位型別...

2026-09-26 ‧ 由 Judy Huang 分享
DAY 13

Day 13: 用 AWS Glue Python Shell Job 把 S3 上的 JSON 檔轉成 Parquet 檔(中)

AWS Glue Python Shell Job Python Shell Job 本質上就是一個託管的 Python 執行環境,你可以用它來做: 讀寫 S...

2026-09-27 ‧ 由 Judy Huang 分享
DAY 14

Day 14: 用 AWS Glue Python Shell Job 把 S3 上的 JSON 檔轉成 Parquet 檔(下)

AWS Glue Python Shell Job Glue Python Shell Job script import boto3 import json...

2026-09-28 ‧ 由 Judy Huang 分享
DAY 15

Day 15: 用 EMR 將資料一次性遷移到 Aurora PostgreSQL 的完整紀錄(上)

廣告點擊系統 API 最初採用 DynamoDB 儲存廣告點擊(ad click)事件。DynamoDB 的無伺服器特性讓初期開發非常快速,然而,當業務成長、下...

2026-09-29 ‧ 由 Judy Huang 分享
DAY 16

Day 16: 用 EMR 將資料一次性遷移到 Aurora PostgreSQL 的完整紀錄(中)

問題二:DynamoDB 的 API 限流(Throttling) DynamoDB 對讀取吞吐量有嚴格的預設限制: 每張表的預設上限:40,000 RCU...

2026-09-30 ‧ 由 Judy Huang 分享
DAY 17

Day 17: 用 EMR 將資料一次性遷移到 Aurora PostgreSQL 的完整紀錄(下)

一次性資料遷移至 Aurora PostgreSQL 因為之前都是把資料存到 DynamoDB ,為了把之前的舊資料遷移 PostgreSQL,可以先把 S3...

2026-10-01 ‧ 由 Judy Huang 分享
DAY 18

Day 18: 把 API 的 Data Source 從 DynamoDB 換成 Aurora PostgreSQL(上)

廣告點擊系統(Ad Click Aggregator)最初的設計是以 DynamoDB 作為核心儲存層。架構簡潔,開發快速:API Gateway 收到點擊事件...

2026-10-02 ‧ 由 Judy Huang 分享
DAY 19

Day 19: 把 API 的 Data Source 從 DynamoDB 換成 Aurora PostgreSQL(中)

新架構設計 改用 PostgreSQL 當成資料儲存空間, Lambda 的部分需要修改,可透過 RDS Data API 存取 Aurora PostgreS...

2026-10-03 ‧ 由 Judy Huang 分享
DAY 20

Day 20: 把 API 的 Data Source 從 DynamoDB 換成 Aurora PostgreSQL(下)

新架構設計 Lambda 程式碼:boto3 dynamodb → boto3 rds-data 這是整個替換中,程式碼層面最核心的改變,把原本 DynamoD...

2026-10-04 ‧ 由 Judy Huang 分享