鐵人檔案
繼去年亞馬遜熱帶雨林生存日記後，今年除了繼續亞馬遜熱帶雨林之外，使用Serverless 架構設計了 data 的架構，也結合不同儲存資料庫，達成不同的目的！
繼去年亞馬遜熱帶雨林生存日記之後，今年有再次展開 AWS 的探索之旅，只是跟以往不一樣的是，今年設定的主題是廣告點擊系統，主要是加入公司的data團隊一年多，想...
系統需求和規格 這個系統需要滿足以下需求 高吞吐量：能夠處理大量併發的廣告點擊事件 低延遲：快速回應 API 請求，不阻塞客戶端 可擴展性：自動根據流量調整資...
架構設計 API Gateway API 的部分使用 API Gateway ，當然也可以使用 ALB ，需要設定 path 和要 trigger 的 AWS...
架構設計 DynamoDB Table 以 ad_id 為 Partition Key ， click_id 為 Sort Key ，可以藉由 ad_id 分析...
在昨天的文章，只用 DynamoDB 作為儲存數據，如果資料量很大，且需要定時拉資料做分析，就不適合直接使用 DynamoDB 的資料，因為資料量越大，從 Dy...
加入 S3 延伸廣告點擊系統架構 為了在後續做分析時可以節省更多成本，在原本的架構上加入 S3 存放資料，不只省錢，也可以當作備份。CloudFormation...
使用 Athena 撈取數據 把資料收到 S3 資料，就可以到 Athena 建 table 撈取資料，使用 year 、 month 和 day 當 PART...
Amazon Web Services (AWS) 提供了兩個處理非同步資料的服務：SQS (Simple Queue Service) 和 Kinesis D...
在處理高流量的事件驅動架構時，如何有效地寫入資料到 DynamoDB 和 S3 是一個常見的挑戰。這幾天將分享如何通過批次處理優化，大幅降低 AWS 成本並提升...
原本一筆資料會是一個 S3 Object ，像是下面這樣。 { ad_id: "ad_31", impression_id: &qu...
