Python 爬蟲不安全網站的問題

python 網路爬蟲 ssl

lingwu 2020-09-24 01:50:20 ‧ 2501 瀏覽

分享至

我要抓環保署中的資料
但是它是不安全的網站
我在我python 3.6 的 shell 執行下面的程式碼
是可以跑出東西的
如圖:

但是我額外儲存在一個.py程式檔再執行卻有錯誤

import requests
import urllib3
urllib3.disable_warnings()
r=requests.get("https://sta.ci.taiwan.gov.tw/STA_AirQuality_EPAIoT/v1.0/Datastreams?$expand=Thing,Observations($orderby=phenomenonTime%20desc;$top=1)&$filter=Thing/properties/city%20eq%20%27%E5%98%89%E7%BE%A9%E5%B8%82%27%20and%20name%20eq%27PM2.5%27&$count=true",verify=False)
               
print(r.content.decode('utf-8'))

錯誤:

已經試過pip3 install urllib3 --upgrade
pip install --upgrade requests
但是都不行

請問要怎麼改進才能讓他可以執行?
或是有別的可以抓不安全網站的方式

登入發表討論

直播研討會

{{ item.channelVendor }} {{ item.webinarstarted }} |

直播中

2 個回答

japhenchen

iT邦超人 1 級 ‧ 2020-09-24 07:43:06

是該找個json parser來把json轉成陣列或字典啦
我改成下列，正常

import requests 
import os
import jsonpickle

url = 'https://sta.ci.taiwan.gov.tw/STA_AirQuality_EPAIoT/v1.0/Datastreams?$expand=Thing,Observations($orderby=phenomenonTime%20desc;$top=1)&$filter=Thing/properties/city%20eq%20%27%E5%98%89%E7%BE%A9%E5%B8%82%27%20and%20name%20eq%27PM2.5%27&$count=true'
r = requests.get(url,verify=False)
j = jsonpickle.decode(r.text)

for i in j['value'] :
    print(i)

輸出