iT邦幫忙

0

如何讀取多個資料,並同時丟進模型,和幾乎能同時間拋出結果於頁面上?

想請問各位大神:

最近在論文在開發股票預測平台,
想請問大家可否給予建議或者方向。

假設目前選定三支股票,並且利用爬蟲方式存到MYSQL當中,
並且分別存到3個table中,

如果我想要同時讀取MYSQL當中三個資料,
並且同時進入一樣LSTM模型當中,並把結果存在MYSQL裡,
最後再把結果抓出呈現於flask上,
且這樣的動作不斷的進行,直到交易時間結束

是否這樣是需要利用到多進程的方式???(為了讓它可以同時進入model裡)
是否加上排程或者迴圈等方式讓他可以不斷的執行?(運算完後又繼續抓取資料運算)
還是有其他更好的方法呢?

以及是不是我的想法有點錯誤,可否指點一下

謝謝各位

ccutmis iT邦研究生 2 級 ‧ 2019-07-18 18:03:29 檢舉
....

2 個回答

0
小魚
iT邦高手 1 級 ‧ 2019-07-18 13:26:12

1.為什麼需要存到3個Table?是因為資料太多了嗎?
2.如果你要到三個網址去抓資料,而且頻率很高,可能就要用多線程吧.
3.通常應該是跑Timer吧,固定時間跑一次.
4.Python我不熟,程式碼不要問我.

0
dragonH
iT邦大師 7 級 ‧ 2019-07-18 13:56:59

鍵盤解題

假設目前選定三支股票,並且利用爬蟲方式存到MYSQL當中,
並且分別存到3個table中

所以你可能會需要固定時間

去爬蟲抓資料

處理完後存到 mysql

這個應該應該會用到 task schedule 之類的東西

如果我想要同時讀取MYSQL當中三個資料,
並且同時進入一樣LSTM模型當中,並把結果存在MYSQL裡,
最後再把結果抓出呈現於flask上,
且這樣的動作不斷的進行,直到交易時間結束

所以妳會有個前端頁面

前端頁面的內容需要與 mysql 即時同步

估計你會需要用到 web socket 來與 backend 同步 data


所以大概的流程就是

爬蟲處理資料 -> 資料處理完成後 emit websocket event ->

前端收到 websocket event 更新資料

至於你的資料處理

是要分開進行或是想要三支股票的資料都處理完成才更新前端

就看你高興了

我要發表回答

立即登入回答