iT邦幫忙

0

各家搜尋引擎機器人(robot)或網路蜘蛛(spider)名稱為何?

設定搜尋引擎對網站的搜尋,一般都是利用Robots.txt這個檔案。
有網友知道各家搜尋引擎機器人(robot)或網路蜘蛛(spider)各是什麼名稱?
例如:Bing
是沿用MSNbot?
目前己知搜尋引擎名稱
Google googlebot
Yahoo Slurp
百度 baiduspider
搜狗 Sogou web spider

1 個回答

6
Blue Jacky
iT邦大師 1 級 ‧ 2015-02-01 17:27:05
最佳解答

AOL ABCdatos
Bing Msnbot
CNet Cnet robot
Google Googlebot-Mobile <- Andriod手機用的
新浪 iaskspider
網易 YodaoBot
北京寬帶 BeijingCrawler
中國雅虎 Yahoo Sluseorp China

我要發表回答

立即登入回答