爬蟲urllib.error.HTTPError: HTTP Error 419: unknown status 是什麼意思?

python3 網路爬蟲

1092B0007 2022-05-28 17:59:06 ‧ 1577 瀏覽

分享至

我想要在租屋網存取資料，卻遇到HTTP Error 419錯誤，請問是遇到什麼問題了?

import urllib.request as req
import json
#建立連線網址
url="https://rent.591.com.tw/home/search/rsList?is_format_data=1&is_new_list=1&type=1&region=1"
request = req.Request(url,headers={
    "User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/102.0.5005.61 Safari/537.36"
})

with req.urlopen(request) as response:
    data=response.read().decode("utf-8")

data=json.loads(data)
print(request)

錯誤訊息

urllib.error.HTTPError: HTTP Error 419: unknown status

請問是怎麼了?謝謝

登入發表討論

直播研討會

{{ item.channelVendor }} {{ item.webinarstarted }} |

直播中

2 個回答

海綿寶寶

iT邦大神 1 級 ‧ 2022-05-29 08:49:55

參考HTTP error 419說明

回應 1
分享
檢舉

1092B0007 iT邦新手 3 級 ‧ 2022-05-29 14:28:51 檢舉

好的，謝謝您

登入發表回應

jiatool

iT邦研究生 2 級 ‧ 2022-05-29 10:44:11

剛好我在寫「591 租屋網的爬蟲」文章，會有說明及較完整的範例程式，預計下週六發布(假如我懶惰沒發作的話?)，你之後也可以參考。
來囉 -> https://blog.jiatool.com/posts/house591_spider/

簡單來說，https://rent.591.com.tw/home/search/rsList 請求的錯誤，你將網頁內容印出來，會看到"The page has expired due to inactivity."，經過我的實測，它需要代上 Cookie 與 X-CSRF-TOKEN 這兩個參數。

而這兩個參數從 https://rent.591.com.tw/ 請求的回傳內可以找到。