想請問各位大神:
最近在論文在開發股票預測平台，
想請問大家可否給予建議或者方向。
假設目前選定三支股票，並且利用爬蟲方式存到MYSQL當中，
並且分別存到3個table中，
如果我想要同時讀取MYSQL當中三個資料，
並且同時進入一樣LSTM模型當中，並把結果存在MYSQL裡，
最後再把結果抓出呈現於flask上，
且這樣的動作不斷的進行，直到交易時間結束
是否這樣是需要利用到多進程的方式???(為了讓它可以同時進入model裡)
是否加上排程或者迴圈等方式讓他可以不斷的執行?(運算完後又繼續抓取資料運算)
還是有其他更好的方法呢?
以及是不是我的想法有點錯誤，可否指點一下
謝謝各位
已邀請的邦友 {{ invite_list.length }}/5
1.為什麼需要存到3個Table?是因為資料太多了嗎?
2.如果你要到三個網址去抓資料,而且頻率很高,可能就要用多線程吧.
3.通常應該是跑Timer吧,固定時間跑一次.
4.Python我不熟,程式碼不要問我.
鍵盤解題
假設目前選定三支股票，並且利用爬蟲方式存到MYSQL當中，
並且分別存到3個table中
所以你可能會需要固定時間
去爬蟲抓資料
處理完後存到 mysql
這個應該應該會用到 task schedule 之類的東西
如果我想要同時讀取MYSQL當中三個資料，
並且同時進入一樣LSTM模型當中，並把結果存在MYSQL裡，
最後再把結果抓出呈現於flask上，
且這樣的動作不斷的進行，直到交易時間結束
所以妳會有個前端頁面
前端頁面的內容需要與 mysql 即時同步
估計你會需要用到 web socket 來與 backend 同步 data
所以大概的流程就是
爬蟲處理資料 -> 資料處理完成後 emit websocket event ->
前端收到 websocket event 更新資料
至於你的資料處理
是要分開進行或是想要三支股票的資料都處理完成才更新前端
就看你高興了
iThome鐵人賽
看影片追技術