繼去年亞馬遜熱帶雨林生存日記後,今年除了繼續亞馬遜熱帶雨林之外,使用Serverless 架構設計了 data 的架構,也結合不同儲存資料庫,達成不同的目的!
DynamoDB 的部分,要做 batch 的話,需要把 put_item 改用 batch_write_item ,才能把多筆資料一起塞到 table 裡。...
許多團隊在 AWS 上累積資料時,常見的起手式是:先把 JSON 格式的資料寫到 S3。這樣寫入在一開始很方便,但當你開始想要: 統一 schema(欄位型別...
AWS Glue Python Shell Job Python Shell Job 本質上就是一個託管的 Python 執行環境,你可以用它來做: 讀寫 S...
AWS Glue Python Shell Job Glue Python Shell Job script import boto3 import json...
廣告點擊系統 API 最初採用 DynamoDB 儲存廣告點擊(ad click)事件。DynamoDB 的無伺服器特性讓初期開發非常快速,然而,當業務成長、下...
問題二:DynamoDB 的 API 限流(Throttling) DynamoDB 對讀取吞吐量有嚴格的預設限制: 每張表的預設上限:40,000 RCU...
一次性資料遷移至 Aurora PostgreSQL 因為之前都是把資料存到 DynamoDB ,為了把之前的舊資料遷移 PostgreSQL,可以先把 S3...
廣告點擊系統(Ad Click Aggregator)最初的設計是以 DynamoDB 作為核心儲存層。架構簡潔,開發快速:API Gateway 收到點擊事件...
新架構設計 改用 PostgreSQL 當成資料儲存空間, Lambda 的部分需要修改,可透過 RDS Data API 存取 Aurora PostgreS...
新架構設計 Lambda 程式碼:boto3 dynamodb → boto3 rds-data 這是整個替換中,程式碼層面最核心的改變,把原本 DynamoD...