iT邦幫忙

2022 iThome 鐵人賽

DAY 17
0

廢廢今天決定是一種方式,那就是將87萬筆分成9個csv檔,每個檔案都包含10萬筆資料這樣電腦也不會當掉了,並且分離的很成功,如圖一分成9個檔案後,再依序全部轉成9個三維矩陣檔案。
https://ithelp.ithome.com.tw/upload/images/20220929/20145527LtrJ1EqIhj.png(圖一)
https://ithelp.ithome.com.tw/upload/images/20220929/201455274nH7Mf7Gmc.png(圖二)

而現在就是要把資料都丟進CNN訓練,目前在找方法將資料都輸入並且將那些10萬筆資料都接再一起進行訓練。
(已解決)

#使用np.vstack(),如果有多數組要加[]在裡np.vstack([])
import numpy as np

x=[1,2,3]
y=[7,8,9]
print(np.vstack([x,y]))

現在廢廢又遇到另一個問題了!好像是記憶體分配不足吧'Unable to allocate 3.78 GiB for an array with shape (200000, 2536) and data type int64',目前正在努力解決中,希望明天就能找到方法。


上一篇
DAY 16 整理概念2
下一篇
DAY 18 新概念
系列文
關於因耍廢太久而必須挑戰5個月上研究所的廢廢38
圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言