我想要爬取這網站的資料,我使用selenium爬是沒問題。
不過我想知道可不可以直接用 requests 爬取。
https://announce.fundclear.com.tw/MOPSFundWeb/L01.jsp
問題1.是否可以用requests爬取,有下拉式選單、按鈕網站,並且抓取檔案?
問題2.在甚麼情況下,一定要用selenium去爬取?
能不能用 request 爬,首先我會開啟網站原始碼,看裡面有哪些可用資訊,接著開始操作網頁上的功能,觀察 request 需要的參數有沒有辦法取得,需不需要一些驗證或特別的 Header。
如果 request 需要的參數,從原始碼和其他 request 都無法取得,那就一定要用 selenium 爬,這種情況比較常發生在完全由 js 生成的網站上。
不過我想知道可不可以直接用 requests 爬取。
回到問題,這個網站可以用 request 爬,也可以下載檔案。