iT邦幫忙

0

在app上實作動態爬蟲

想在自己寫的app上實作 動態爬蟲
但因為要先在頁面上做一些點擊,才會跑到我要爬蟲的頁面,所以不能使用Jsoup這些只能做靜態爬蟲的方法,想請問各位有甚麼建議嗎...QQ

圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

1 個回答

1
echochio
iT邦高手 1 級 ‧ 2019-02-02 23:06:49

您是用哪種語言寫的 ?

我是用 python 寫的爬蟲, 原本用 beautiful soup , PhantomJS .....

但要輸入一些互動的數值 , 改用 selenium.webdriver (請自行 google)

我於純 console 的 linux 下開虛擬桌面(xvfb) 開啟 chrome(ChromeDriver) , 發現這就是 自動化 網頁了 (自動輸入或互動輸入 , 得到不同的值 )

您使用Jsoup 應該是 java 的 , 相對的 java 也可用 selenium ....

我有找到 java 的文章 :

https://www.cnblogs.com/longronglang/p/8078898.html

ccccc iT邦新手 5 級 ‧ 2019-02-02 23:16:12 檢舉

您好,我一開始也是用selenium,在Eclipse上也有爬蟲成功,但放到Android studio上並不能正常運行。。

另外,python應該不能用在Android app 上 吧 ?

因為最終是想在Android app上實作動態爬蟲,所以應該不考慮Android app無法支援的語言。。

echochio iT邦高手 1 級 ‧ 2019-02-03 08:15:40 檢舉

可能要試試 Appium , Robotium 等等手機自動化框架, 這部分就不熟,Automation for Apps 可能有希望

ccccc iT邦新手 5 級 ‧ 2019-02-03 20:29:46 檢舉

感謝您的建議 QQ

我要發表回答

立即登入回答