在app上實作動態爬蟲

android studio web-scraping javascript

ccccc 2019-02-02 16:29:16 ‧ 2614 瀏覽

想在自己寫的app上實作 動態爬蟲
但因為要先在頁面上做一些點擊，才會跑到我要爬蟲的頁面，所以不能使用Jsoup這些只能做靜態爬蟲的方法，想請問各位有甚麼建議嗎...QQ

直播研討會

{{ item.channelVendor }} {{ item.webinarstarted }} |

直播中

echochio

iT邦高手 1 級 ‧ 2019-02-02 23:06:49

您是用哪種語言寫的 ?

我是用 python 寫的爬蟲, 原本用 beautiful soup , PhantomJS .....

但要輸入一些互動的數值 , 改用 selenium.webdriver (請自行 google)

我於純 console 的 linux 下開虛擬桌面(xvfb) 開啟 chrome(ChromeDriver) , 發現這就是自動化網頁了 (自動輸入或互動輸入 , 得到不同的值 )

您使用Jsoup 應該是 java 的 , 相對的 java 也可用 selenium ....

我有找到 java 的文章 :

https://www.cnblogs.com/longronglang/p/8078898.html

ccccc iT邦新手 5 級 ‧ 2019-02-02 23:16:12 檢舉

您好，我一開始也是用selenium，在Eclipse上也有爬蟲成功，但放到Android studio上並不能正常運行。。

另外，python應該不能用在Android app 上吧？

因為最終是想在Android app上實作動態爬蟲，所以應該不考慮Android app無法支援的語言。。

echochio iT邦高手 1 級 ‧ 2019-02-03 08:15:40 檢舉

可能要試試 Appium ， Robotium 等等手機自動化框架，這部分就不熟，Automation for Apps 可能有希望

ccccc iT邦新手 5 級 ‧ 2019-02-03 20:29:46 檢舉

感謝您的建議 QQ

立即登入回答

參賽組數

1064 組

團體組數

40 組

累計文章數

22195 篇

完賽人數

600 人

IT邦幫忙