動態網頁爬蟲

爬蟲動態網頁 mssql

kim0929 2016-11-01 19:32:46 ‧ 4385 瀏覽

https://quickstart.internetofthings.ibmcloud.com/#/device/247189c0d104/sensor/
大家好
我們想把這個網頁的動態數值，爬下來放到資料庫(MSSQL)
研究了很久，始終不知該從哪裡下手

請問版上有人會這方面的技術嗎?
應該用什麼樣的方法去做?該怎麼做才行呢?有教學嗎?
謝謝

登入發表討論

直播研討會

{{ item.channelVendor }} {{ item.webinarstarted }} |

直播中

2 個回答

海綿寶寶

iT邦大神 1 級 ‧ 2016-11-01 20:56:43

我不會

因為該網頁使用 TLSv2 協定傳輸資料
如果我會的話
我早就去開發 Pokemon 雷達地圖賺錢了

回應
分享
檢舉

登入發表回應

ssdoz2sk

iT邦新手 5 級 ‧ 2016-11-02 00:15:27

這網頁的動態更新採用 websocket 技術
在 chrome 的 network 中有WS標籤
點入應該會看到只有一條

一般來說在 Frames 內會有它傳輸的資料，但這網站傳輸的是 binary
所以不會顯示出來，這只能靠 wireshark 之類抓取封包的去抓了

抓取到會像

經轉換過為此

0ø8iot-2/type/SensorTag/id/247189c0d104/evt/status/fmt/json{
 "d":{
"myName":"ti-sensortag2",
"ambientTemp":"26.62",
"objectTemp":"18.78",
"humidity":"85.57703",
"pressure":"1023.83",
"altitude":"0.9374107",
"accelX":"-0.01",
"accelY":"-0.10",
"accelZ":"1.02",
"gyroX":"1.07",
"gyroY":"-1.61",
"gyroZ":"0.76",
"magX":"23.38",
"magY":"32.98",
"magZ":"84.25",
"light":"66.98"
}
}

但一開始 client 要傳何種訊息給server 這就要靠你自己發掘了