爬蟲問題, 如何在GOOGLE搜尋關鍵字後,取前10頁的網址?

seo 爬蟲

webtest 2025-11-24 10:14:22 ‧ 2670 瀏覽

分享至

各位好

因為GOOGLE不給直接爬 Google Search HTML,會被阻擋,
我試過Google Custom Search API,結果與chrome完全不同,
請問各位大大,您的作法是?
謝謝您!

補充 :
這是以前做法的結果
https://www.archi.net.tw/tw/yelpage/keywordlist-order.asp

補充 :
Google 搜尋可用的「&num=100」參數,在2025年9月移除,
https://www.google.com.tw/search?q=kwd&num=100,
也阻止爬蟲抓取結果,我的方式也被阻擋了;
想請教為大大,您們抓取前100名的資料的方法是?
謝謝!

webtest iT邦新手 4 級 ‧ 2025-11-26 08:36:21 檢舉

補充 :
這是以前做法的結果
https://www.archi.net.tw/tw/yelpage/keywordlist-order.asp

㊣浩瀚星空㊣ iT邦大神 1 級 ‧ 2025-11-26 19:20:23 檢舉

這邊要先理解一件事，用GOOGLE瀏覽器搜尋，跟用API搜尋。
確實有時結果會不一樣。

其實在不同電腦或是不同帳號下的搜尋，多少還是會有些差異。
因為帳號下會有習慣性搜尋的要件。
但正常來說也不會差異太大就是了。

webtest iT邦新手 4 級 ‧ 2025-11-27 17:49:58 檢舉

㊣浩瀚星空㊣
謝謝您的回答,
我需要的功能是 : 搜尋關鍵字抓取我公司網站的自然排名並存入資料庫

登入發表討論

熱門推薦

{{ item.channelVendor }} | {{ item.webinarstarted }} |

直播中

3 個回答

BI_Automate

iT邦新手 3 級 ‧ 2025-11-27 14:45:48

用RPA软件模拟人工点击爬取。

回應 1
分享
檢舉

webtest iT邦新手 4 級 ‧ 2025-11-27 17:49:29 檢舉

謝謝您的回答,
我需要的功能是 : 搜尋關鍵字抓取我公司網站的自然排名並存入資料庫

登入發表回應

揮揮手

iT邦研究生 4 級 ‧ 2025-12-01 11:58:21

你要去找你們資料庫建立的部分
我看網站fetch 是沒有呼叫外部api
所以我推論 asp畫面渲染時就有資料

你們內部肯定有灌資料的地方
那邊有寫如何取得資料的部分
請去查到這部分你應該就不用問我們了

回應 2
分享
檢舉

webtest iT邦新手 4 級 ‧ 2025-12-02 08:19:06 檢舉

您好
Google 搜尋可用的「&num=100」參數,在2025年9月移除,
https://www.google.com.tw/search?q=kwd&num=100,
也阻止爬蟲抓取結果,我的方式也被阻擋了;
想請教各位大大,您們抓取前100名的資料的方法是?
謝謝!

揮揮手 iT邦研究生 4 級 ‧ 2025-12-03 13:56:42 檢舉

爬蟲進階這種事情還是要靠自己+AI
這個參數只是單頁多筆顯示被移除而已
重點是你要去查你們後端爬蟲資料的部分修復總比從頭開始簡單
而且看網站還有自己的關鍵字分類還有排名定義

登入發表回應

Helengrace

iT邦新手 5 級 ‧ 2025-12-11 16:40:41

Super interesting question! Google keeps tightening restrictions, so results from the Custom Search API rarely match the real Sprunki Retake SERP anymore. I’m curious to see what others are using too — maybe proxy-based SERP APIs or headless browsers with proper delays?