iT邦幫忙

0

我是一名对python技术感兴趣的亚马逊运营,但是反爬问题困扰了我很久

我正在开始尝试爬取亚马逊某一个网页的内容,这样能解放我的日常监控工作
但是我遇到的第一个问题是python在调用requests.get这个函数打开特定的亚马逊网页时返回了503错误
于是我通过学习了解到了headers这个假装自己的程序是人类的东西,根据各种教程的指导,我陆续在headers这个字典中加入了User-Agent,Accept-Language ,sec-ch-ua,accept,cache-control,在第一次加入user—agent这个参数之后,我很高兴看到页面不在返回503,但是当我保存并打开爬取的页面发现那是一个机器验证页面,也因此我不断加入了各种参数来假装自己的人类,但是至今我也没有成功的通过python打开过哪怕一次亚马逊的网站页面
现在我不知道还哪些方式能够让我的程序看起来更像是人类,好能够让我通过python成功打开一次亚马逊的页面

我向你们求助,来帮助我完成这个地狱级别难度的第一步,尽管我只是个新手,如果你真的帮助我解答了这个问题,我将会非常感谢


尚未有邦友留言

立即登入留言