<補>真的是dataset本身的問題

• 2019/09/23
  • 越想越奇怪的驅動下，我今天花了很多時間找問題，最後發現我有一個地方沒有處理到...
  • 新的結果在暴力中繼總匯站-修bug之路之結果重發
  • 下方的code已經修改並上傳了

零、引言

這個暴力系列絕對是純屬巧合，上一篇「暴力LSTM模型實測-你是在跟我開玩笑嗎?」的實測後，我憤怒地下了這個標題。今天，我改了資料集輸入方式和縮小input讓模型不再是那麼大，輸出的部分採用預測action來測試，既然叫做「暴力」，那就是我不取指標、不篩選資料、除了正規化外不做其他處理，不多加思考地餵給模型吃，所以模型也理所當然地不多加思考地....嘲諷我Orz 讓我們開嘲吧!

一、資料集處理的改變

模型輸入

上篇，我將一天的資料集拆成500份、每份500維，正可謂不知所云啊! 這次抱持著不到黃河心不死的決心再戰「暴力」流派。今次為了提高運算速度，我對模型做了兩個改變 :

• 更改為CuDNNLSTM (將會出現在未來某一篇的解釋)
• 輸入不是500維了，改根據input days而定

那麼資料處理呢?

全部沿用上一篇，該用local用local、用global用global

模型輸出

輸出部分我會根據輸入的最後一刻是與隔一次價格相比，是上漲或是下跌給定是buy、sell還是do nothing，預測的內容與「實戰前的測試路(四) :: 非股價預測測試」是一樣的方法，只是這次的預測是超級短線(或稱當沖)而已~

我們直接上結果吧! 超級合理的耶~

二、結果

下方的輸出結果是input days為...

• 3天
• epochs = 10
• batch_size = 3

輸出結果

• Loss

  • 

• output

  • 

這什麼意思?

明確的指示，要你都不要進場Orz... 這不是我要的啊!!! 我當下看到第一個反應真的就是 :
「你他X的嘲諷我嗎?」

什麼? 要我多測幾個參數?

測過了呦 ! 結果是一樣的 XD....嗚嗚

問題討論

其實出現這樣的問題絕對不是模型訓練不好，而是dataset本身就有問題，我將input data印出來看後，絕大部分的資料是「連續不變很多次」，就是一段時間沒有出現交易量，當然也不會有價格波動。 但因為我們的資料集是「5秒委託」所以還是會進入我們dataset中。想當然大部分的label都是do nothing啦!

這要怎麼修正?

這其實也是我正在想的問題，目前有兩個想法，但都要先克服一點 :: 客製化的LSTM模型
所以下一篇可能會先介紹keras中的RNN跟可以調動的部分...

程式碼

model_02_LSTM_base_action_predict.ipynb