iT邦幫忙

2026 iThome 鐵人賽

DAY 1
0

繼去年亞馬遜熱帶雨林生存日記之後,今年有再次展開 AWS 的探索之旅,只是跟以往不一樣的是,今年設定的主題是廣告點擊系統,主要是加入公司的data團隊一年多,想要透過這個系列,整理處理data的不同情境與服務,這個系列主要會寫:

  • 系統需求和規格與架構設計
  • 使用 S3 儲存數據
  • SQS vs Kinesis Data streams
  • 批次寫入資料
  • 用 AWS Glue Python Shell Job 把 S3 上的 JSON 檔轉成 Parquet 檔
  • 用 EMR 將資料一次性遷移到 Aurora PostgreSQL 的完整紀錄
  • 把 API 的 Data Source 從 DynamoDB 換成 Aurora PostgreSQL
  • PostgreSQL 怎麼邊查邊吐資料?用 Server-Side Cursor + FETCH 實作 data Streaming
  • 別讓使用者等到最後一筆:把一次撈爆的 API 改成 Streaming
  • 解決 S3 與 PostgreSQL 數據不一致問題

整個系列會從一個非常簡單的架構開始,然後延伸到根據不同需求,把資料存到不同的資料庫,並且再把資料送到新的資料庫時,可以用什麼工具做遷移。


下一篇
Day 2: 系統需求和規格與架構設計(上)
系列文
使用 Serverless 架構設計廣告點擊系統 2
圖片
  熱門推薦
圖片
{{ item.channelVendor }} | {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言