iT邦幫忙

2023 iThome 鐵人賽

DAY 24
0
Cloud Native

AWS AI交易室實戰系列 第 24

Day 24 - 演算法交易 - AWS 資源架構

  • 分享至 

  • xImage
  •  

~ 有點眼花繚亂 ~
AWS Resources Overview
AI 交易室所需 AWS 資源架構圖
這張看起來複雜的圖,其實需要先了解整個架構會有兩個重點 AWS 服務要使用而已:

  1. 資料來源:從 AWS Data Exchange 拿到股票EOD(End-Of-Day)報價資料
  2. 機器學習:使用 AWS SageMaker 進行機器學習任務建置、訓練、部署等工作,在 SageMaker 中會用到 AWS 的其他資源,都會使用 Python SDK 完成所需工作

接下來就上圖的編號一一解釋:
(1) 從 AWS Data Exchange 獲取每日結算價數據並保存到 S3 存儲桶中
(2) 在 AWS Glue 中定義數據目錄(Data Catalog)。
(3) SageMaker 筆記本實例使您可以使用本架構中包含的 Jupyter 筆記本執行機器學習模型的訓練。該筆記本直接從 S3 存儲桶中讀取數據。
(4) 訓練完畢後,機器學習模型用於實際的後測,利用 S3 存儲桶中可用的數據,並且可以在結果滿足您的需求時部署。
(5) + (6) 報價資料和交易 API 部署到 ECS 上,並使用 dynamodb 存放交易資料
(7) 在 ECS 上部署交易策略
(8) 使用 EventBridge 觸發排程工作去監控整個系統

接下來我們仔細看看 Data 是如何準備以及將資料提供給 SageMaker:
Data Processing Flow
在 Day17 & Day 18 有示範過如何從 AWS Data Exchange 倒進資料到 S3 Bucket 裡面
AWS Glue Crawler 可以進 S3 爬行數據並在 AWS Glue Catelog 中建立多個 table
使用 AWS Athena (Day18)服務可以使用 SQL 查詢 上述產生的這些表從而得到數據
在 SageMaker 中,我們將會使用 Python Athena API 直接用 SQL 得到測試訓練資料

明天我們會一步步展示這篇 blog 提到的演算法從訓練到回測的流程

參考資料:

https://aws.amazon.com/tw/blogs/industries/algorithmic-trading-on-aws-with-amazon-sagemaker-and-aws-data-exchange/


上一篇
Day 23 - 演算法交易 概覽
下一篇
Day 25 - 演算法交易 資源環境配置
系列文
AWS AI交易室實戰30
圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言