python requests爬ASP button 下載檔案

python python3 python 3 requests

rex0220 2021-08-26 11:03:38 ‧ 17151 瀏覽

分享至

目前遇到button2是個下載按鈕，但沒有連結，這樣要怎麼透過爬蟲下載呢?

看更多先前的討論...收起先前的討論...

echochio iT邦高手 1 級 ‧ 2021-08-26 13:41:22 檢舉

用 fiddler 錄封包呀
下載按鈕，按下去有封包吧
把 session 及 cookies 含 user-agent 都放進
去 requests 就可了
之前遇過 session hash 編碼要放入的 (要看是否有 javascript hash 編碼的)

rex0220 iT邦新手 4 級 ‧ 2021-08-26 14:46:53 檢舉

不太懂，因為不是至少還要指定下載位置之類的code嗎?

echochio iT邦高手 1 級 ‧ 2021-08-27 17:04:30 檢舉

錄封包沒?

人家回答的也沒錯 F12 去追button2觸發了什麼XHR .....
錄了封包就知道 button2觸發了什麼XHR 呀
沒給網址所以只能告知你方法但你還沒做所以不懂
金流我也爬過 ..... 用標準流程去錄一次封包就有了

rex0220 iT邦新手 4 級 ‧ 2021-08-30 09:55:33 檢舉

我用chrome F12看了點button2的結果但XHR沒東西啊 all只有DOC看到post資料

登入發表討論

直播研討會

{{ item.channelVendor }} {{ item.webinarstarted }} |

直播中

1 個回答

japhenchen

iT邦超人 1 級 ‧ 2021-08-26 11:10:39

你會用瀏覽器的F12開發者模式，去追button2觸發了什麼XHR吧？

回應 9
分享
檢舉

看更多先前的回應...收起先前的回應...

japhenchen iT邦超人 1 級 ‧ 2021-08-26 11:17:29 檢舉

如果有看到XHR(AJAX)有POST或GET什麼JSON或XML或純文字的話，你就直接爬那個頁面就好了，無需爬主頁

rex0220 iT邦新手 4 級 ‧ 2021-08-26 11:35:32 檢舉

我有用chrome的開發者模式看，post就是button2....所以我才不知道該怎麼做，查詢也是post查詢button

japhenchen iT邦超人 1 級 ‧ 2021-08-26 11:38:10 檢舉

那你用requests 去直接對那個頁面送假 post啊~~
https://blog.gtwang.org/programming/python-requests-module-tutorial/

rex0220 iT邦新手 4 級 ‧ 2021-08-26 11:49:07 檢舉

有阿我說爬蟲已經爬的到資料了post button1就是查詢，但直接post button2就會出錯

japhenchen iT邦超人 1 級 ‧ 2021-08-26 11:50:42 檢舉

赫，那只有一個可能，有session或cookies，那只有動用selenium了

froce iT邦大師 1 級 ‧ 2021-08-26 15:05:24 檢舉

有cookies也不用用selenium啊...
沒網址很難幫你看是什麼情況。

rex0220 iT邦新手 4 級 ‧ 2021-08-26 16:08:00 檢舉

廠商金流網頁相關，沒辦法提供，我看post的cookies只有Content-Length: 6163這項與查詢的post cookies不同，是這個要加入嗎

froce iT邦大師 1 級 ‧ 2021-08-26 19:07:46 檢舉

Content-Length看起來通常是 http header而不是cookie，另外接金流的話你應該去搞懂他的流程，金流廠商會給。

rex0220 iT邦新手 4 級 ‧ 2021-08-30 09:57:48 檢舉

我用chrome F12看了點button2的結果但XHR沒東西啊 all只有DOC看到post資料，不是接金流啦，只是報表需要固定日期下載，所以才研究，但也是屬於公司內部所以沒辦法提供，真的不好意思，身為新手我會盡量努力的，再麻煩大家了，感謝。

登入發表回應

我要發表回答

立即登入回答

參賽組數

1064 組

團體組數

40 組

累計文章數

22199 篇

完賽人數

602 人

15th鐵人賽 16th鐵人賽 13th鐵人賽 14th鐵人賽 12th鐵人賽 11th鐵人賽鐵人賽 2019鐵人賽 javascript 2018鐵人賽 python 2017鐵人賽 windows php c# windows server linux css react vue.js

IT邦幫忙