技術問答
技術文章
iT 徵才
Tag
聊天室
2024 鐵人賽
登入/註冊
問答
文章
Tag
邦友
鐵人賽
搜尋
2024 iThome 鐵人賽
DAY
9
0
佛心分享-我的證照是這樣攻略的
老闆,外帶一份 AWS Certified Data Engineer
系列 第
9
篇
【Day 9】 製造資料給資料湖 / 成本分析
16th鐵人賽
aws
dea-c01
python
二坪山小弱砲
2024-09-23 23:05:03
39 瀏覽
分享至
今天還是繼續實作的部分
已知目前泥趴趴企業設的軟體工程師,開發了行情資訊接收程式後,打算擷取行情,把「交易明細」寫進檔案中,再扔進湖裡。 為什麼要這麼做?
以買賣期貨為例,一秒鐘可能會有 0 筆 ~ 數百甚是數千筆交易接連發生。 這些訊息會透過如訊息佇列(Message Queue)的方式接收並且排隊等待被處理。 這麼瑣碎的資料,不會長時間被保存在讀寫快速的設備上,那樣會很貴。
通常只會被保存在佇列中幾分鐘到幾小時。 所以要趁著可以記錄的時候,把行情收下來,等有空的時候再來分析。
流程
呼叫 Fugle 個股、期貨選擇權的 trade API。
接收到行情後,寫到檔案裡。
每隔 x 分鐘,包裝成一個檔案
把檔案拋送到 S3 Bucket。
程式碼
接收行情:
https://github.com/exsky/HighRiskTrader/blob/master/quote/mtxmonitor.py
產生檔案:
製作中...
上傳檔案機制:
corntab / event bridge / 製作中 ...
成本
AWS CLI 指令呼叫 S3 上傳與下載:
S3 檔案儲存與資料傳輸:https://aws.amazon.com/tw/s3/pricing/
結論
一秒鐘幾十萬上下 ...
留言
追蹤
檢舉
上一篇
【Day 8】IAM 的基本觀念與配置: User, Role 和 Policy
下一篇
【Day 10】 Athena 的簡單介紹 / 以 CloudTrail 為例
系列文
老闆,外帶一份 AWS Certified Data Engineer
共
13
篇
目錄
RSS系列文
訂閱系列文
2
人訂閱
9
【Day 9】 製造資料給資料湖 / 成本分析
10
【Day 10】 Athena 的簡單介紹 / 以 CloudTrail 為例
11
【Day 11】 關聯式資料庫的概念
12
【Day 12】 Relational Databases Service (RDS) 全託管關聯式資料庫服務
13
【Day 13】 NoSQL 非關連式資料庫的基本概念
完整目錄
直播研討會
{{ item.subject }}
{{ item.channelVendor }}
{{ item.webinarstarted }}
|
{{ formatDate(item.duration) }}
直播中
立即報名
尚未有邦友留言
立即登入留言
iThome鐵人賽
參賽組數
1047
組
團體組數
40
組
累計文章數
13589
篇
最後報名日
9/15
看影片追技術
看更多
{{ item.subject }}
{{ item.channelVendor }}
|
{{ formatDate(item.duration) }}
直播中
熱門tag
看更多
15th鐵人賽
13th鐵人賽
14th鐵人賽
12th鐵人賽
16th鐵人賽
11th鐵人賽
鐵人賽
2019鐵人賽
javascript
2018鐵人賽
python
2017鐵人賽
windows
php
c#
windows server
linux
css
react
資訊安全
熱門問題
網路線裡的棉線是甚麼用途
硬碟保存的舊照片可否改變顯示時間,出現在google相簿的正確時間軸上?
Docker for Linux
ios版outlook登入登不進公司信箱
請問國內有外包合規的第三方資安公司嗎?
FortiGate網路設定疑問
Win10 接 HDMI 到電視,看影片突然破音卡住後就沒聲音
如何在iT邦幫忙中的文章使用"加入數學公式"的功能?
從cisco 下載檔案的訊息
[討論]PHP 與 Node.js
熱門回答
機房溫度監控推薦
如何在iT邦幫忙中的文章使用"加入數學公式"的功能?
Sideproject 主機費用問題
run as administrator是否有更安全的用法
Win10 接 HDMI 到電視,看影片突然破音卡住後就沒聲音
熱門文章
開發概念建置:CIDR表示格式(重要)
Day11 - 誰說要卡才能進?MFKey32 攻擊讓你無卡也能破解門禁!
【Day 27】- 告別提示工程:DSPy如何革新大型語言模型的應用開發
【Day 26】- Ollama: 革命性工具讓本地 AI 開發觸手可及 - 從安裝到進階應用的完整指南
【Day 25】- 數位轉型下的工安革命:知識圖譜與LangGraph的完美結合
IT邦幫忙
×
標記使用者
輸入對方的帳號或暱稱
Loading
找不到結果。
標記
{{ result.label }}
{{ result.account }}