iT邦幫忙

0

動態網頁爬蟲

https://quickstart.internetofthings.ibmcloud.com/#/device/247189c0d104/sensor/
大家好
我們想把這個網頁的動態數值,爬下來放到資料庫(MSSQL)
研究了很久,始終不知該從哪裡下手

請問版上有人會這方面的技術嗎?
應該用什麼樣的方法去做?該怎麼做才行呢?有教學嗎?
謝謝

2 個回答

0
海綿寶寶
iT邦大神 1 級 ‧ 2016-11-01 20:56:43

我不會

因為該網頁使用 TLSv2 協定傳輸資料
如果我會的話
我早就去開發 Pokemon 雷達地圖賺錢了
/images/emoticon/emoticon06.gif

3
ssdoz2sk
iT邦新手 5 級 ‧ 2016-11-02 00:15:27

這網頁的動態更新採用 websocket 技術
在 chrome 的 network 中有WS標籤
點入應該會看到只有一條
http://ithelp.ithome.com.tw/upload/images/20161102/201030016OwmGrr0Yw.png

一般來說在 Frames 內會有它傳輸的資料,但這網站傳輸的是 binary
所以不會顯示出來,這只能靠 wireshark 之類抓取封包的去抓了

抓取到會像

經轉換過為此

0ø8iot-2/type/SensorTag/id/247189c0d104/evt/status/fmt/json{
 "d":{
"myName":"ti-sensortag2",
"ambientTemp":"26.62",
"objectTemp":"18.78",
"humidity":"85.57703",
"pressure":"1023.83",
"altitude":"0.9374107",
"accelX":"-0.01",
"accelY":"-0.10",
"accelZ":"1.02",
"gyroX":"1.07",
"gyroY":"-1.61",
"gyroZ":"0.76",
"magX":"23.38",
"magY":"32.98",
"magZ":"84.25",
"light":"66.98"
}
}

但一開始 client 要傳何種訊息給server 這就要靠你自己發掘了

高手高手,請受在下一拜
/images/emoticon/emoticon32.gif

我要發表回答

立即登入回答