iT邦幫忙

1

該如何爬蟲這個網站?

網路爬蟲
spring36861 2024-09-05 15:56:11 ‧ 595 瀏覽

  • 分享至 

  • xImage

想使用爬蟲，但遇到一個網站，完全看不到裡面相應的內容

請問一下該如何處理?麻煩高手提供一下方向，謝謝

https://rmems.osha.gov.tw/HME/viewQr/B/649bdf554290d165d96b526c

froce iT邦大師 1 級 ‧ 2024-09-05 16:08:37 檢舉
https://rmems.osha.gov.tw/HME/api/viewQrEquip/B/649bdf554290d165d96b526c

重點是如何得到 649bdf554290d165d96b526c 這串碼的列表。
登入發表討論
圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

3 個回答

2
meebox
iT邦新手 4 級 ‧ 2024-09-06 09:32:50
最佳解答

這個是網頁下載回來之後瀏覽器才執行其中的 JavsScript 去取得真正的資料, 可以透過按 F12 開啟網頁開發者工具觀察, 像是這樣：

https://ithelp.ithome.com.tw/upload/images/20240906/20157938ZQtrF7Oc1c.png

切換到 Network 頁次, 按重新載入, 等所有傳輸完畢, 標示為 XHR 的就是網頁中的 JavaScript 程式碼執行的下載工作, 按一下這一筆工作, 就會看到詳細的結果：

https://ithelp.ithome.com.tw/upload/images/20240906/20157938rPUJ6IDpBy.png

就可以看到實際上這些資料的下載網址, 以及下載回來的資料內容。所以你只要透過一樣的網址就可以取得 JSON 格式的資料, 程式就可以直接處理了。

純真的人 iT邦大師 1 級 ‧ 2024-09-06 10:42:11 檢舉

想說我的【Network】畫面為何是空白~
原來還要再按下 Ctrl+R 才會把資料抓出來
https://ithelp.ithome.com.tw/upload/images/20240906/200613697TszWHd3aM.png

登入發表回應
0
japhenchen
iT邦超人 1 級 ‧ 2024-09-05 16:06:55

按F12爬XHR，會看到只有一筆GET回來的JSON，就可以解析，不用爬網頁

登入發表回應
0
davidchen0117
iT邦新手 4 級 ‧ 2024-09-09 14:47:46

內容很清楚的!
https://ithelp.ithome.com.tw/upload/images/20240909/20158659gUZ6v9Wpdi.png

登入發表回應

我要發表回答

立即登入回答
iThome鐵人賽
參賽組數
574 組
團體組數
22 組
累計文章數
4053 篇
最後報名日
9/15
iT+看影片追技術 看影片追技術 看更多
熱門tag 看更多
15th鐵人賽 13th鐵人賽 14th鐵人賽 12th鐵人賽 11th鐵人賽 鐵人賽 2019鐵人賽 javascript 2018鐵人賽 16th鐵人賽 python 2017鐵人賽 windows php c# windows server linux css react 資訊安全
熱門問題
熱門回答
熱門文章
IT邦幫忙