如何網頁爬蟲獲取UPS燃油附加費? - iT 邦幫忙::一起幫忙解決難題，拯救 IT 人的一天

1

如何網頁爬蟲獲取UPS燃油附加費?

c# 爬蟲

ken040714 2019-08-20 14:54:05 ‧ 2198 瀏覽

分享至

最近用C#撈網頁原始檔來獲取4大貨運的燃油附加費的費率
TNT、DHL、FEDEX都撈到了
但是UPS怎麼撈就是抓不到顯示表格的費率
有神人前輩可以提點提點嗎
費率網址如下
https://www.ups.com/tw/zh/shipping/surcharges/fuel-surcharges.page

登入發表討論

直播研討會

{{ item.subject }}

{{ item.channelVendor }} {{ item.webinarstarted }} |

{{ formatDate(item.duration) }}

直播中

2 個回答

3

dragonH

iT邦超人 5 級 ‧ 2019-08-20 15:13:02

最佳解答

這跟 c# 沒什麼關係我就來回了

如果你用的只是普通的 get request

爬不到是正常的

因為他那的資料

是用 js 處理的

圖為停用 js 的結果

我原本是要推薦你用 puppeteer

後來看了一下

他的資料是從這來的

直接爬這就好

回應 3
分享
檢舉

ken040714 iT邦新手 5 級 ‧ 2019-08-20 16:01:42 檢舉

感謝大大，抓到了!!!
有空再來研究研究puppeteer
可以另外問一下是怎樣抓到這個JSON路徑的嗎

dragonH iT邦超人 5 級 ‧ 2019-08-20 16:02:22 檢舉

dragonH iT邦超人 5 級 ‧ 2019-08-20 16:06:59 檢舉

可以看 browser console

network 那頁

搞不好你其他的頁面

有的就有用類似這種傳 data 的 api

你就可以省去分析 html 的時間

直接用他的 api

另外

普通的爬蟲用一般的 get request 就好

puppeteer 比較適合一些複雜的爬蟲

他會跟你一般操作 browser 類似

登入發表回應

1

jumpbow

iT邦新手 4 級 ‧ 2019-08-20 15:54:53

直接下 GET
丟入它的 JS網址
https://www.ups.com/assets/resources/fuel-surcharge/tw.json
就可以抓到 JSON 的資料表，自己依照需求抓

回應 1
分享
檢舉

ken040714 iT邦新手 5 級 ‧ 2019-08-20 16:02:00 檢舉

感謝! 我抓到了

登入發表回應

我要發表回答

立即登入回答

參賽組數

1064 組

團體組數

40 組

累計文章數

22210 篇

完賽人數

600 人

15th鐵人賽 16th鐵人賽 13th鐵人賽 14th鐵人賽 12th鐵人賽 11th鐵人賽鐵人賽 2019鐵人賽 javascript 2018鐵人賽 python 2017鐵人賽 windows php c# windows server linux css react vue.js

IT邦幫忙