網路爬蟲抓不到某些標籤內容

網路爬蟲 python 標題標籤網頁爬蟲 python爬蟲

michelle75 2022-07-13 15:14:58 ‧ 1706 瀏覽

大家好~我目前還是個網路爬蟲新手
爬取的網站:[https://www.skh.org.tw/skh/advice.html]
問題:
有在原始碼中看到要爬取的內容和標籤，但當我使用print(soup)來確認時卻無此內容顯示
想詢問各位是哪邊出了問題
附上我的code:

自行嘗試過的解決辦法
1.轉換各種標籤爬取如soup.select("p.editor_line_text span")、select("div.gas-editor span")、select("li")等，不知是否標籤找錯。
2.非動態網頁
3.用js render

先感謝大家願意幫我解答!!誠摯的感謝各位!!

看更多先前的討論...收起先前的討論...

obarisk iT邦研究生 1 級 ‧ 2022-07-13 16:51:32 檢舉

ajax

不熟的話，你用 selenium 再解網頁比較快

obarisk iT邦研究生 1 級 ‧ 2022-07-13 16:54:18 檢舉

認真要解也是可以。
看 xhr ，要去打 https://www.skh.org.tw/skh_api/mediaAPI
需要 cookie, API_ID, 跟 v 這個查詢參數（看起來 v 可是可略的）

froce iT邦大師 1 級 ‧ 2022-07-14 14:22:58 檢舉

v應該是當下的時間戳。

michelle75 iT邦新手 5 級 ‧ 2022-07-27 16:31:01 檢舉

謝謝你們!!!

直播研討會

{{ item.channelVendor }} {{ item.webinarstarted }} |

直播中

koro_michael

iT邦新手 2 級 ‧ 2022-07-14 13:00:13

如果你不想要利用像 puppeteer 之類的套件來操控瀏覽器

就得去打 AJAX 了，你標注的地方是動態載入的

立即登入回答

參賽組數

1064 組

團體組數

40 組

累計文章數

22195 篇

完賽人數

600 人

IT邦幫忙

網路爬蟲 抓不到某些標籤內容