iT邦幫忙

1

為什麼爬蟲被封ip後,用vpn改ip還是被擋?

如題
求問這是怎麼偵測到的,怎麼破解......

謝謝大家

看更多先前的討論...收起先前的討論...
咖咖拉 iT邦好手 1 級 ‧ 2020-11-02 10:27:39 檢舉
你怎麼知道是IP被封?
是用爬蟲跑google搜尋吧?
然後google一直跳出你不是機器人的驗證碼吧?
lydia0231 iT邦新手 5 級 ‧ 2020-11-02 10:40:48 檢舉
@咖咖拉 因為朋友電腦能開網頁 我手機也能開網頁 就執行過爬蟲的電腦(家用、工作單位)都不能開啟網頁
lydia0231 iT邦新手 5 級 ‧ 2020-11-02 10:41:30 檢舉
@純真的人 不是google搜尋,是一個小說網頁,還疑似一封就是永封.......
allenlwh iT邦高手 1 級 ‧ 2020-11-02 10:56:24 檢舉
若是直接鎖mac address,就難解了
lydia0231 iT邦新手 5 級 ‧ 2020-11-02 11:25:40 檢舉
@allenlwh 我剛剛改了mac address試,也還是開不起來
wrxue iT邦好手 1 級 ‧ 2020-11-02 12:54:02 檢舉
朋友電腦能開網頁 我手機也能開網頁 就執行過爬蟲的電腦(家用、工作單位)都不能開啟網頁 -> 鎖IP,只要你的電腦不是公網IP,通常都是區網統一對外IP,因此要驗證的話就是把你手機連到跟你被鎖的電腦同區網內,再開網頁測試。

通常不會鎖mac,因為mac只對區網有效,對方網站不會知道你的mac是甚麼。
lydia0231 iT邦新手 5 級 ‧ 2020-11-02 13:16:26 檢舉
@wrxue 想請問如果是鎖IP,為何VPN改IP沒有用?
wrxue iT邦好手 1 級 ‧ 2020-11-02 13:29:45 檢舉
根據 浩瀚星空 所說,可以做到偵測是否開vpn。你可以將可正常開啟網頁的電腦連vpn,再看能否開啟
obarisk iT邦研究生 2 級 ‧ 2020-11-02 22:28:26 檢舉
mac address 無法鎖的...

很多 vpn 都會被鎖啊
s4028600 iT邦新手 5 級 ‧ 2020-11-03 09:41:41 檢舉
什麼小說網站啊?
gjlmotea iT邦研究生 5 級 ‧ 2020-11-03 14:35:29 檢舉
有沒有可能 網站本身是擋國外IP的,所以VPN跳出去也被鎖
eggeggss iT邦新手 5 級 ‧ 2020-11-05 22:42:45 檢舉
我有一個系統每5小時要去youtube抓歌單,也是被警告同一個ip過多requerts 被ban,一開始解法是把中華電信的小烏龜重開, 對外ip會重新配置,但這做法太蠢了,後來我的解法是每日先用爬蟲去 https://www.us-proxy.org 下載anonymous的proxy,接著每次去youtube抓歌單時動態隨機取一個proxy當代理就騙過去了,現在不用固定時間重開小烏龜就是開心,參考一下
圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中
4
㊣浩瀚星空㊣
iT邦大神 1 級 ‧ 2020-11-02 11:31:34
最佳解答

封鎖的方式非常多種。
我本身也可以做到偵測開vpn、proxy就不給進的處理。

只有cdn的我無法判斷。

記錄ip只是最後一招。
一般還可以記錄的東西很多。

如序號記錄、網卡記錄。
如果是需要開權限的,可以記錄的東西會更多。

你目前被封的那台。可以先設看看清理暫存資料跟cookie後。再開無痕進入試試。
請記得要一次性的移除後才開。

看更多先前的回應...收起先前的回應...
lydia0231 iT邦新手 5 級 ‧ 2020-11-02 12:00:50 檢舉

還是不行QQ

lydia0231 iT邦新手 5 級 ‧ 2020-11-02 12:02:24 檢舉

我也不確定該網站到底記錄下哪些東西......

這沒實際看過我也不清楚你為何會被封。
如其它人說的。或許你用了固定的外網ip。只是單純的被鎖ip。
另外一種可能性就是單純的ip被列入危險區段內。如180或181開頭這些。我以前會鎖這種開頭的ip,好像還有72跟74的。但大多也不是全區段。

先問看看你的adsl是哪一家。如果是第四台的話。機會很大。
因為第四台會跑的ip區段不大。且常會被用來當跳板攻擊用。
很常被封。

lydia0231 iT邦新手 5 級 ‧ 2020-11-02 16:42:30 檢舉

我被封是因為爬過它...可能request太頻繁就被封了
adsl我再看看

0
舜~
iT邦高手 1 級 ‧ 2020-11-02 12:12:26

有可能是對方封鎖你的外部IP

你更換再多內部虛擬IP,
對外IP都相同的話就連不到~~~

有的會封你15分鐘~1天,永久封...應該不會
網管如果有再清理的話,
一個月半年之前的黑名單應該會刪掉吧?
(不是網管不負責任留言)

如果爬蟲可以爬到一半暫停的話,
換不同家網咖看看~XD
(禍害別人? XD)

lydia0231 iT邦新手 5 級 ‧ 2020-11-02 13:16:59 檢舉

我等了一天,還是被封QQ

舜~ iT邦高手 1 級 ‧ 2020-11-02 20:22:53 檢舉

另一個方式

  1. 先確認你手機網路可否通
  2. 如果會通通就改用手機網路跑,只要設定每分鐘不要抓超過10次,每5分鐘休息5分鐘,應該就不會被鎖了
    (如果還是被鎖...別打我XD)
lydia0231 iT邦新手 5 級 ‧ 2020-11-03 10:42:51 檢舉

我之前是隨機15~20秒request一次就被鎖了XD,已經被鎖過了哈哈哈

0
japhenchen
iT邦超人 1 級 ‧ 2020-11-02 13:13:03

你是不是遇到了 HTTP error 429 Too many requests 了?

看更多先前的回應...收起先前的回應...
lydia0231 iT邦新手 5 級 ‧ 2020-11-02 13:17:31 檢舉

不是,那個網站不給訪問就會顯示它在暫時維修中

不知道你用什麼做爬蟲的,selenium ? curl ? html agility pack ? ......
可以試試偽造user agent看看

lydia0231 iT邦新手 5 級 ‧ 2020-11-02 16:41:11 檢舉

我用python的bs4爬,不過我現在沒開程式,自己用瀏覽器也打不開了

bs4不是爬蟲吧?它不只是分析HTML的工具而已嗎?照你所說,你應該是用request套件。被擋是說你打不開還是爬不到?

bs4算是初級學爬蟲的工具,但現在有資料的網頁愈來愈多動態甚至AJAX生成,requests,bs4,curl,htmlagility都不敷使用,得進級學selenium來模擬瀏覽器,才能抓取到有用的資料..

lydia0231 iT邦新手 5 級 ‧ 2020-11-03 10:44:20 檢舉

selenium有在學,不過該網站我就算是手動開瀏覽器瀏覽,它也會因為我頻繁翻頁然後鎖我訪問IP...QQ

0
海綿寶寶
iT邦大神 1 級 ‧ 2020-11-02 21:15:32

求問這是怎麼偵測到的

「短時間」內「同一IP」「大量」HTTP request

怎麼破解......

大量 HTTP request 沒辦法改
同一 IP 麻煩改
最好改的就是「短時間」
把每次 HTTP request 的時隔加大一點(例:每隔 50-70 秒)

慢慢爬總有一天會爬完
總比現在被封來得好...

lydia0231 iT邦新手 5 級 ‧ 2020-11-03 10:46:15 檢舉

之前我改到30~45秒間隔還是被鎖,可能得像你說的分鐘起跳了QQ,不過現在我是完全無法訪問該網站了

記得沒錯的話
(多年前)iT邦幫忙就設定 60 秒了

0
gracecat
iT邦新手 5 級 ‧ 2021-04-13 14:35:53

我有個經驗,我用pandavpn 跟selenium python 爬蟲,每次被ban就換國家,然後可以撐一下子,但是後來還是被ban。
後來我改用expressvpn 狀況就好很多,至少被ban次數降低很多,我測試了幾款不同vpn,樓主可以參考這篇文章。
墙知乎

gracecatt iT邦新手 5 級 ‧ 2021-04-23 11:15:21 檢舉
  1. 剛剛發現之前分享的網站是大陸的,現在改分享台灣的。
    VPN台灣
haiding iT邦新手 5 級 ‧ 2021-05-11 17:17:54 檢舉

台灣VPN非常棒,我分享香港VPN。也是非常不錯的。

0
glayon
iT邦新手 5 級 ‧ 2021-06-15 13:17:03

是不是你选择的VPN根本就没有改版IP呀?试试这些VPN推荐。看看能不能解决这些问题。

0
twflower
iT邦新手 5 級 ‧ 2021-08-23 15:50:22

很多熱門VPN,特別是在VPN排行上靠前的VPN,比如ExpressVPN,因為用戶眾多,所以不管是換成那個國家的Server,IP都是可以被許多網站識別和封鎖的。解決的辦法可以考慮自己搭建VPN Server,這樣IP地址可能不會被Ban。

0
how
iT邦見習生 ‧ 2022-07-05 11:17:31

尽量使用固定/静态/独立IP访问高安全性网站,共享IP地址很容易被是被为代理或者翻墙VPN,这也是中国大陆防火长城封杀翻墙软件的方法之一,免费的VPN更容易识别,毕竟用的人太多。

我要發表回答

立即登入回答