iT邦幫忙

0

python requests爬ASP button 下載檔案

目前遇到button2是個下載按鈕,但沒有連結,這樣要怎麼透過爬蟲下載呢?

看更多先前的討論...收起先前的討論...
echochio iT邦高手 1 級 ‧ 2021-08-26 13:41:22 檢舉
用 fiddler 錄封包呀
下載按鈕,按下去有封包吧
把 session 及 cookies 含 user-agent 都放進
去 requests 就可了
之前遇過 session hash 編碼要放入的 (要看是否有 javascript hash 編碼的)
rex0220 iT邦新手 4 級 ‧ 2021-08-26 14:46:53 檢舉
不太懂,因為不是至少還要指定下載位置之類的code嗎?
echochio iT邦高手 1 級 ‧ 2021-08-27 17:04:30 檢舉
錄封包沒?

人家回答的也沒錯 F12 去追button2觸發了什麼XHR .....
錄了封包就知道 button2觸發了什麼XHR 呀
沒給網址所以只能告知你方法但你還沒做所以不懂
金流我也爬過 ..... 用標準流程去錄一次封包就有了
rex0220 iT邦新手 4 級 ‧ 2021-08-30 09:55:33 檢舉
我用chrome F12看了點button2的結果但XHR沒東西啊 all只有DOC看到post資料
圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

1 個回答

0
japhenchen
iT邦超人 1 級 ‧ 2021-08-26 11:10:39

你會用瀏覽器的F12開發者模式,去追button2觸發了什麼XHR吧?

看更多先前的回應...收起先前的回應...

如果有看到XHR(AJAX)有POST或GET什麼JSON或XML或純文字的話,你就直接爬那個頁面就好了,無需爬主頁

rex0220 iT邦新手 4 級 ‧ 2021-08-26 11:35:32 檢舉

我有用chrome的開發者模式看,post就是button2....所以我才不知道該怎麼做,查詢也是post查詢button

那你用requests 去直接對那個頁面送假 post啊~~
https://blog.gtwang.org/programming/python-requests-module-tutorial/

rex0220 iT邦新手 4 級 ‧ 2021-08-26 11:49:07 檢舉

有阿 我說爬蟲已經爬的到資料了post button1就是查詢,但直接post button2就會出錯

赫,那只有一個可能,有session或cookies,那只有動用selenium了

froce iT邦大師 1 級 ‧ 2021-08-26 15:05:24 檢舉

有cookies也不用用selenium啊...
沒網址很難幫你看是什麼情況。

rex0220 iT邦新手 4 級 ‧ 2021-08-26 16:08:00 檢舉

廠商金流網頁相關,沒辦法提供,我看post的cookies只有Content-Length: 6163這項與查詢的post cookies不同,是這個要加入嗎

froce iT邦大師 1 級 ‧ 2021-08-26 19:07:46 檢舉

Content-Length看起來通常是 http header而不是cookie,另外接金流的話你應該去搞懂他的流程,金流廠商會給。

rex0220 iT邦新手 4 級 ‧ 2021-08-30 09:57:48 檢舉

我用chrome F12看了點button2的結果但XHR沒東西啊 all只有DOC看到post資料,不是接金流啦,只是報表需要固定日期下載,所以才研究,但也是屬於公司內部所以沒辦法提供,真的不好意思,身為新手我會盡量努力的,再麻煩大家了,感謝。

我要發表回答

立即登入回答