分享至
各位大大好,小弟最近在開發百度搜尋引擎的爬蟲,過程中使用 python + selenium 並且 proxy、useragent 之類的都有換,但每每到了按下第二頁後,就會被偵測為是機器人,開始出現一些重複的資料,或是後面幾頁直接不見等等,想問一下有沒有甚麼方向可以思考之類的
已邀請的邦友 {{ invite_list.length }}/5
IT邦幫忙