iT邦幫忙

2018 iT 邦幫忙鐵人賽
DAY 5
3
Software Development

爬蟲始終來自於墮性系列 第 7

小插曲 #2 - www-form-urlencoded 的 space

小魚今天在聊天室裡面提到,希望爬一下台彩的銷售地點那一頁,我就花了點時間去爬了一下。直接先講結論,過幾天再補上一篇文章針對這個主題,基本上爬取是成功的,不過要用 source 的 data string 去送 post,因為在 application/x-www-form-urlencoded 的時候空白會變成加(+)號,但 postman 會把它變成 %20,而台彩的網頁的鄉鎮市區後面竟然多了兩個空白。

然後再解決這個的過程當中,發現了一個好東西
https://curl.trillworks.com/#node

他能直接把 chrome 發出去的 request 變成 node 程式碼,這樣一來又大大的提升我們開發的便利性了。


上一篇
牛刀小試 - IT 鐵人瀏覽數
下一篇
好想工作室與他的參賽者們
系列文
爬蟲始終來自於墮性34

1 則留言

0
小魚
iT邦大師 1 級 ‧ 2017-12-09 12:54:34

爬蟲是因為有需求,
不是來自於惰性吧,

不過你是用C#還是用什麼爬的?
可以提供一下原始碼嗎?
感恩~

Howard iT邦新手 5 級 ‧ 2017-12-09 13:03:54 檢舉

我是用 node.js 但道理應該都是一樣的,我應該會在後天凌晨發這篇文章

我要留言

立即登入留言