技術問答
技術文章
iT 徵才
Tag
聊天室
2024 鐵人賽
登入/註冊
問答
文章
Tag
邦友
鐵人賽
搜尋
2024 iThome 鐵人賽
DAY
9
0
佛心分享-我的證照是這樣攻略的
老闆,外帶一份 AWS Certified Data Engineer
系列 第
9
篇
【Day 9】 製造資料給資料湖 / 成本分析
16th鐵人賽
aws
dea-c01
python
二坪山小弱砲
2024-09-23 23:05:03
134 瀏覽
分享至
今天還是繼續實作的部分
已知目前泥趴趴企業設的軟體工程師,開發了行情資訊接收程式後,打算擷取行情,把「交易明細」寫進檔案中,再扔進湖裡。 為什麼要這麼做?
以買賣期貨為例,一秒鐘可能會有 0 筆 ~ 數百甚是數千筆交易接連發生。 這些訊息會透過如訊息佇列(Message Queue)的方式接收並且排隊等待被處理。 這麼瑣碎的資料,不會長時間被保存在讀寫快速的設備上,那樣會很貴。
通常只會被保存在佇列中幾分鐘到幾小時。 所以要趁著可以記錄的時候,把行情收下來,等有空的時候再來分析。
流程
呼叫 Fugle 個股、期貨選擇權的 trade API。
接收到行情後,寫到檔案裡。
每隔 x 分鐘,包裝成一個檔案
把檔案拋送到 S3 Bucket。
程式碼
接收行情:
https://github.com/exsky/HighRiskTrader/blob/master/quote/mtxmonitor.py
產生檔案:
製作中...
上傳檔案機制:
corntab / event bridge / 製作中 ...
成本
AWS CLI 指令呼叫 S3 上傳與下載:
S3 檔案儲存與資料傳輸:https://aws.amazon.com/tw/s3/pricing/
結論
一秒鐘幾十萬上下 ...
留言
追蹤
檢舉
上一篇
【Day 8】IAM 的基本觀念與配置: User, Role 和 Policy
下一篇
【Day 10】 Athena 的簡單介紹 / 以 CloudTrail 為例
系列文
老闆,外帶一份 AWS Certified Data Engineer
共
30
篇
目錄
RSS系列文
訂閱系列文
3
人訂閱
26
【Day 26】 做題庫小試身手 - 7
27
【Day 27】 做題庫小試身手 - 8
28
【Day 28】 做題庫小試身手 - 9
29
【Day 29】 做題庫小試身手 - 10
30
【Day 29】 做題庫小試身手 - 11
完整目錄
直播研討會
{{ item.subject }}
{{ item.channelVendor }}
{{ item.webinarstarted }}
|
{{ formatDate(item.duration) }}
直播中
立即報名
尚未有邦友留言
立即登入留言
iThome鐵人賽
參賽組數
1064
組
團體組數
40
組
累計文章數
22201
篇
完賽人數
602
人
看影片追技術
看更多
{{ item.subject }}
{{ item.channelVendor }}
|
{{ formatDate(item.duration) }}
直播中
熱門tag
看更多
15th鐵人賽
16th鐵人賽
13th鐵人賽
14th鐵人賽
12th鐵人賽
11th鐵人賽
鐵人賽
2019鐵人賽
javascript
2018鐵人賽
python
2017鐵人賽
windows
php
c#
windows server
linux
css
react
vue.js
熱門問題
熟識南投軟體工程師推薦
如何練國考資訊題?
筆電無法使用usb開機重裝系統
CCNA相關問題詢問
電商在販售商品時,可以自行縮短保固期限嗎?
求救 有人會修改cookie權限嗎
python scrapy pipeline實作問題請教
防火牆互通問題
函數問題
桌面的使用者文件圖標壞掉
熱門回答
防火牆互通問題
筆電無法使用usb開機重裝系統
if函數中的>&<&=是否可以使用儲存格代替
開啟Microsoft Edge 瀏覽器無法開啟網頁,出現錯誤訊息
熟識南投軟體工程師推薦
熱門文章
每日一篇學習筆記 直到我做完專題 :( [Day1]
每日一篇學習筆記 直到我做完專題 :( [Day2]
[翻譯]使用AI工具寫程式碼時如何避免「AI幻覺」?
每日一篇學習筆記 直到我做完專題 :( [Day3]
每日一篇學習筆記 直到我做完專題 :( [Day4]
IT邦幫忙
×
標記使用者
輸入對方的帳號或暱稱
Loading
找不到結果。
標記
{{ result.label }}
{{ result.account }}