網頁抓取推薦

數據採集大數據

lmc9610710 2020-12-18 14:52:40 ‧ 1518 瀏覽

分享至

最近需要連續抓取資料但是不可能1個月都不睡覺所以請大家推薦一夏哪個軟體能夠使用
主要是要在一個網站上每10分鐘抓取網頁資料，但是網站需要每10分鐘自我重新整理才會更新資料
能推薦哪個服務比較能夠滿足我的需求嗎?

看更多先前的討論...收起先前的討論...

paicheng0111 iT邦大師 5 級 ‧ 2020-12-18 14:57:37 檢舉

用EXCEL寫VBA

窮嘶發發發 iT邦高手 1 級 ‧ 2020-12-18 16:23:27 檢舉

wget寫批次檔 + 排程

wrxue iT邦好手 1 級 ‧ 2020-12-18 16:34:41 檢舉

關鍵字 python 爬蟲
一堆...

㊣浩瀚星空㊣ iT邦大神 1 級 ‧ 2020-12-18 16:58:29 檢舉

我來建議一個很特殊的。
瑞土刀...

好吧，我承認我是來亂的。這是砍站不是抓站。

echochio iT邦高手 1 級 ‧ 2020-12-19 08:17:34 檢舉

curl , wget, VBA excel, python Firefox , python chrome, python request,
超多方法 Google 一下
可以抓老鼠的都是好貓.....

japhenchen iT邦超人 1 級 ‧ 2020-12-21 08:00:43 檢舉

學python寫爬蟲吧！

登入發表討論

直播研討會

{{ item.channelVendor }} {{ item.webinarstarted }} |

直播中

1 個回答

paicheng0111

iT邦大師 5 級 ‧ 2020-12-18 14:58:14

用EXCEL寫VBA

回應 2
分享
檢舉

lmc9610710 iT邦新手 5 級 ‧ 2020-12-18 15:08:27 檢舉

寫VBA 但是那個網站一直停留在那資訊不會更新VBA會自動更新再抓取嗎?

paicheng0111 iT邦大師 5 級 ‧ 2020-12-18 17:05:49 檢舉

你可以研究一下EXCEL VBA中的Application.OnTime
用OnTime去自動更新再抓取

登入發表回應

不明

【＊＊此則訊息已被站方移除＊＊】

我要發表回答

立即登入回答

參賽組數

1064 組

團體組數

40 組

累計文章數

22047 篇

完賽人數

594 人

15th鐵人賽 16th鐵人賽 13th鐵人賽 14th鐵人賽 12th鐵人賽 11th鐵人賽鐵人賽 2019鐵人賽 javascript 2018鐵人賽 python 2017鐵人賽 windows php c# windows server linux css react vue.js

IT邦幫忙