~ 有點眼花繚亂 ~
AI 交易室所需 AWS 資源架構圖
這張看起來複雜的圖,其實需要先了解整個架構會有兩個重點 AWS 服務要使用而已:
接下來就上圖的編號一一解釋:
(1) 從 AWS Data Exchange 獲取每日結算價數據並保存到 S3 存儲桶中
(2) 在 AWS Glue 中定義數據目錄(Data Catalog)。
(3) SageMaker 筆記本實例使您可以使用本架構中包含的 Jupyter 筆記本執行機器學習模型的訓練。該筆記本直接從 S3 存儲桶中讀取數據。
(4) 訓練完畢後,機器學習模型用於實際的後測,利用 S3 存儲桶中可用的數據,並且可以在結果滿足您的需求時部署。
(5) + (6) 報價資料和交易 API 部署到 ECS 上,並使用 dynamodb 存放交易資料
(7) 在 ECS 上部署交易策略
(8) 使用 EventBridge 觸發排程工作去監控整個系統
接下來我們仔細看看 Data 是如何準備以及將資料提供給 SageMaker:
在 Day17 & Day 18 有示範過如何從 AWS Data Exchange 倒進資料到 S3 Bucket 裡面
AWS Glue Crawler 可以進 S3 爬行數據並在 AWS Glue Catelog 中建立多個 table
使用 AWS Athena (Day18)服務可以使用 SQL 查詢 上述產生的這些表從而得到數據
在 SageMaker 中,我們將會使用 Python Athena API 直接用 SQL 得到測試訓練資料
明天我們會一步步展示這篇 blog 提到的演算法從訓練到回測的流程