各位前輩好，最近在使用 selenium 上碰到了點問題，替 selenium 加上 proxy 之後，某些爬蟲任務會出現如下問題，專案是使用 python 3.10，想請問造成這個問題可能的原因為何?
Message: unknown error: net::ERR_TUNNEL_CONNECTION_FAILED
(Session info: headless chrome=90.0.4430.72)
Stacktrace:
#0 0x55d4ce5d6e89 <unknown>
已邀請的邦友 {{ invite_list.length }}/5
一般會出現這樣的問題。
其實有非常多的可能性。
但大多數而言都是出現在DNS解析的問題。
如果是一般瀏覽器。有時可以利用一下清除緩存的動作就可以解決這樣的問題。
這些問題大多數都是因為使用了代理之類或是 proxy 的因素。
而導致瀏覽器或是元件解析錯亂。
但有時候，是站方故意做這樣處理。這其實也是防範爬蟲的一種招式。
PY我並不太熟。所以其實我也並不懂要告訴你怎麼處理。但就我個人曾經的經驗。
並非是因為軟體的問題而這樣的。
不過你或許可以往這樣的方向跑。有時將PROXY或是網路的DNS設為 GOOGLE的DNS或是1.1.1.1時。
或許這些問題是可以解決的。
iThome鐵人賽
看影片追技術