python爬文字大約多久才會有1GB

python3 網路爬蟲 scrapy

e6319a5b 2018-12-21 20:46:23 ‧ 2078 瀏覽

如題,最近在做自然語言分析,我去ptt爬蟲,用的是Scrapy
這問題有點菜,但是我怕爬蟲爬太久檔案會過大
我的設計是:ptt有各種版的文章我就把每個版的文章個抓1000份(每份的留言全抓)
請問大約爬多久會有1GB

e6319a5b iT邦新手 4 級 ‧ 2018-12-21 21:10:26 檢舉

抱歉,已經有解了....我剛剛去看容量原來它會快速更新
大約3kb/s

石頭 iT邦研究生 4 級 ‧ 2018-12-22 10:01:01 檢舉

既然有數據就來算個時間吧?
1GB=1024*1024 kb = 1048576 kb
每秒 3kb => 大約349525秒會有1GB => 大約97小時約4天

(抱歉我太閒了)

e6319a5b iT邦新手 4 級 ‧ 2018-12-22 10:31:08 檢舉

昨天程式碼有點小缺漏,我優化了一下後,大約700mb/6hr

直播研討會

{{ item.channelVendor }} {{ item.webinarstarted }} |

直播中

立即登入回答

參賽組數

1064 組

團體組數

40 組

累計文章數

22087 篇

完賽人數

594 人

IT邦幫忙