iT邦幫忙

0

百度爬蟲

  • 分享至 

  • xImage

各位大大好,小弟最近在開發百度搜尋引擎的爬蟲,過程中使用 python + selenium 並且 proxy、useragent 之類的都有換,但每每到了按下第二頁後,就會被偵測為是機器人,開始出現一些重複的資料,或是後面幾頁直接不見等等,想問一下有沒有甚麼方向可以思考之類的

tryit iT邦研究生 4 級 ‧ 2022-11-14 15:42:25 檢舉
你有沒有降低爬蟲速度?
有的 目前大約是 10~ 15 秒左右會進行一次請求(點擊)
可以試試這個 undetected_chromedriver
圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友回答

立即登入回答