繼去年亞馬遜熱帶雨林生存日記之後,今年有再次展開 AWS 的探索之旅,只是跟以往不一樣的是,今年設定的主題是廣告點擊系統,主要是加入公司的data團隊一年多,想要透過這個系列,整理處理data的不同情境與服務,這個系列主要會寫:
- 系統需求和規格與架構設計
- 使用 S3 儲存數據
- SQS vs Kinesis Data streams
- 批次寫入資料
- 用 AWS Glue Python Shell Job 把 S3 上的 JSON 檔轉成 Parquet 檔
- 用 EMR 將資料一次性遷移到 Aurora PostgreSQL 的完整紀錄
- 把 API 的 Data Source 從 DynamoDB 換成 Aurora PostgreSQL
- PostgreSQL 怎麼邊查邊吐資料?用 Server-Side Cursor + FETCH 實作 data Streaming
- 別讓使用者等到最後一筆:把一次撈爆的 API 改成 Streaming
- 解決 S3 與 PostgreSQL 數據不一致問題
整個系列會從一個非常簡單的架構開始,然後延伸到根據不同需求,把資料存到不同的資料庫,並且再把資料送到新的資料庫時,可以用什麼工具做遷移。