資料清理儲存問題 - iT 邦幫忙::一起幫忙解決難題，拯救 IT 人的一天

0

資料清理儲存問題

大數據分析 python 數據清理

jaman 2018-04-06 16:04:17 ‧ 5903 瀏覽

我目前把NAN跟重複資料都清除了。我把2G多的txt分成多個csv。
1.各位大大請問:
用panda處理完之後但我疑問是怎麼儲存呢?
還是每次都要打開jupyter notebook 的專案，我知道怎麼清理但看不懂大家清理完，儲存成新的csv嗎?還是有別的方法?
2.但我之後結合一次不能打開2G的我的記憶體不夠。有人推薦使用MongoDB 但儲存超過0.5G就需要收費的意思?我想使用coogle cloud裡的工具有人有推薦或使用過的嗎?

登入發表討論

直播研討會

{{ item.subject }}

{{ item.channelVendor }} {{ item.webinarstarted }} |

{{ formatDate(item.duration) }}

直播中

2 個回答

0

王選仲(GoatWang)

iT邦新手 4 級 ‧ 2018-04-07 09:32:31

最佳解答

我是說「本機端」的mongodb。請下載mongodb安裝在自己電腦，至於安裝教學已經有很多人寫，上網找一下就有了。

回應 1
分享
檢舉

王選仲(GoatWang) iT邦新手 4 級 ‧ 2018-04-07 09:33:18 檢舉

你用雲端的mlab才有0.5G的限制

登入發表回應

0

暐翰

iT邦大師 1 級 ‧ 2018-04-07 00:48:18

有人推薦使用MongoDB 但儲存超過0.5G就需要收費的意思?

mongodb是免費的
官網內容(圖)

想使用google cloud什麼功能DB、VM?

回應 1
分享
檢舉

王選仲(GoatWang) iT邦新手 4 級 ‧ 2018-04-07 09:31:50 檢舉

我是說「本機端」的mongodb。請下載mongodb安裝在自己電腦，至於安裝教學已經有很多人寫，上網找一下就有了。

登入發表回應

我要發表回答

立即登入回答

參賽組數

1123 組

團體組數

52 組

累計文章數

23096 篇

完賽人數

656 人

15th鐵人賽 13th鐵人賽 14th鐵人賽 12th鐵人賽 11th鐵人賽鐵人賽 2019鐵人賽 2018鐵人賽 javascript 2017鐵人賽 python windows php c# windows server linux css 程式設計 react vue.js

IT邦幫忙