#python 寫大檔案問題(5.6億) - iT 邦幫忙::一起幫忙解決難題，拯救 IT 人的一天

0

#python 寫大檔案問題(5.6億)

python pandas

e6319a5b 2019-08-20 14:27:35 ‧ 1616 瀏覽

分享至

小弟我生成大檔案時使用多線程< 4個，之後再把資料寫進檔裡本來5.6億的資料
，每次都掛在寫檔那直到切4等分才能寫檔成功，我寫檔是用pandas 寫excel

假設我使用迴圈跑這4等分每次都使用多線程只生成4等分的資料不會占用多的記憶體
結束後使用time.sleep 有效嗎? 如果是請問要多久
或者是說有什麼更佳解嗎

JackKuo iT邦新手 3 級 ‧ 2019-08-21 11:02:10 檢舉

為何要 sleep?

e6319a5b iT邦新手 4 級 ‧ 2019-08-21 20:49:04 檢舉

我其實對sleep的功能也不太了解，因為我的錯誤貌似是過度使用cpu以及記憶體導致
所以我想讓電腦稍微停頓能不能延緩

登入發表討論

直播研討會

{{ item.subject }}

{{ item.channelVendor }} {{ item.webinarstarted }} |

{{ formatDate(item.duration) }}

直播中

尚未有邦友回答

立即登入回答

參賽組數

1064 組

團體組數

40 組

累計文章數

22200 篇

完賽人數

602 人

15th鐵人賽 16th鐵人賽 13th鐵人賽 14th鐵人賽 12th鐵人賽 11th鐵人賽鐵人賽 2019鐵人賽 javascript 2018鐵人賽 python 2017鐵人賽 windows php c# windows server linux css react vue.js

IT邦幫忙