iT邦幫忙

0

python爬蟲_goodinfo_失敗

  • 分享至 

  • xImage

相同code現在無法使用:https://ithelp.ithome.com.tw/upload/images/20240508/20167026tScxy2B0ml.png

圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

1 個回答

2
import requests

cookies = {
    "CLIENT%5FID": "20240508193926906%5F220%2E129%2E67%2E143",
    "IS_TOUCH_DEVICE": "F",
    "SCREEN_SIZE": "WIDTH=1920&HEIGHT=1080"
}

url = "https://goodinfo.tw/tw/StockDividendPolicyList.asp?MARKET_CAT=%E4%B8%8A%E5%B8%82&INDUSTRY_CAT=%E5%85%A8%E9%83%A8&YEAR=2024&INITIALIZED=T"

headers={
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/124.0.0.0 Safari/537.36",
    'accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8',
    'accept-encoding': 'gzip, deflate, br, zstd',
    'accept-language': 'zh-TW,zh;q=0.5',
    'cache-control': 'no-cache',
    'pragma': 'no-cache',
    'sec-ch-ua': '"Chromium";v="124", "Brave";v="124", "Not-A.Brand";v="99"',
    'sec-ch-ua-mobile': '?0',
    'sec-ch-ua-platform': '"Windows"',
    'sec-fetch-dest': 'document',
    'sec-fetch-mode': 'navigate',
    'sec-fetch-site': 'none',
    'sec-fetch-user': '?1',
    'sec-gpc': '1',
    'upgrade-insecure-requests': '1',
     "Referer": "https://www.google.com/"
}

session = requests.Session()
session.headers = headers
response = session.get(url,cookies=cookies)
content = response.content
decoded_string = content.decode('utf-8')
print(decoded_string)

測試正常

看更多先前的回應...收起先前的回應...

"加上BeautifulSoup相關code就可以順利將表格爬出.
但我不懂的是原來code已成功爬蟲多時,為何現在不行?
"

不明 檢舉

你原先爬蟲機器人的反反爬蟲機器的的設定太少了,他偵測到你是機器人了吧,建議爬蟲還是用session方式抓會比較穩定

"謝謝"

不明 檢舉

你記得要選最佳解答....

我要發表回答

立即登入回答