大家好
最近想要爬104職缺的工作內容
舉例網址:https://www.104.com.tw/job/7bbe1?jobsource=jolist_b_relevance
我使用 selenium很快就能抓到想要的
但想利用靜態的 BeautifulSoup 做做看卻遇到了困難
抓下來的都是空的
例如圖中的「工作待遇」,我使用 h3節點下 class也為 h3
soup.find_all('h3', class_ = 'h3')
但抓出來卻沒有東西
想請問各位高手有什麼辦法能夠解決,或是我沒注意到什麼地方,請求開導
哦哦~這我做過
因為它資料是動態載入的,所以你使用 BeautifulSoup (正確來說應該是 requests 的原因),它載入的網頁還沒有資料。
可以透過"開發人員工具"的"Network"去找出它拿資料的請求。
詳細可以參考我之前寫的文章:
https://blog.jiatool.com/posts/job104_spider/#取得職缺詳細資料