iT邦幫忙

0

關於爬蟲

我想要爬取這網站的資料,我使用selenium爬是沒問題。
不過我想知道可不可以直接用 requests 爬取。
https://announce.fundclear.com.tw/MOPSFundWeb/L01.jsp
問題1.是否可以用requests爬取,有下拉式選單、按鈕網站,並且抓取檔案?
問題2.在甚麼情況下,一定要用selenium去爬取?

圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

1 個回答

0
小碼農米爾
iT邦高手 1 級 ‧ 2018-08-09 12:01:03
最佳解答

能不能用 request 爬,首先我會開啟網站原始碼,看裡面有哪些可用資訊,接著開始操作網頁上的功能,觀察 request 需要的參數有沒有辦法取得,需不需要一些驗證或特別的 Header。

如果 request 需要的參數,從原始碼和其他 request 都無法取得,那就一定要用 selenium 爬,這種情況比較常發生在完全由 js 生成的網站上。


不過我想知道可不可以直接用 requests 爬取。

回到問題,這個網站可以用 request 爬,也可以下載檔案。

我要發表回答

立即登入回答