iT邦幫忙

1

如果網站以上線想要不讓股狗搜尋到?

如提網站已經上線想要不讓估狗搜尋到
請問不把網站關了?
還有什麼方法?關SEO?

註冊谷狗以及各大引擎的網站管理員服務
然後設定不索引網站,並清除所有已經索引的資料
接著如回答一樓說的設定Robot.txt
還有如果要檔所有的爬蟲,你還需要參考很多的文件
因為爬蟲會更新,今天可以檔,不表示明天可以
尤其是偽裝度很強的爬蟲
https://support.google.com/webmasters/answer/93710?hl=zh-Hant
2
海綿寶寶
iT邦大神 1 級 ‧ 2020-07-09 10:00:33

先試試Robot.txt

3
raytracy
iT邦大神 1 級 ‧ 2020-07-09 10:04:23

除了用 robot.txt 阻擋以後的搜尋之外, 舊內容可以:
申請 Google Search Console, 進去把你的網站刪掉..
Google Search Console 初學者指南,如何使用及安裝

3
浩瀚星空
iT邦超人 1 級 ‧ 2020-07-09 10:24:51

如以下幾招

1.設規則 robot.txt 有人有說明過了,我就不在重覆

2.設ip阻檔或是規則阻擋。可以用rw規則來處理,一般搜尋引擎都會帶有特定標頭。

3.關站。(好~~~我是開玩笑的)

我大多是用第二招。因為第一招對某些搜尋引擎沒用。

0
純真的人
iT邦高手 1 級 ‧ 2020-07-09 10:34:22

還有一招~

自創DNS自己連進網站~

例如IIS設定一組 test.com.tw

然後在本機的hosts文件輸入test.com.tw xxx.xxx.xxx.xxx(網站位置IP)

https://ithelp.ithome.com.tw/upload/images/20200709/2006136983cwP8dMuq.png

0
通靈亡
iT邦新手 1 級 ‧ 2020-07-09 16:12:55

使用「noindex」封鎖搜尋索引服務 (不使用Robot.txt)
https://support.google.com/webmasters/answer/93710?hl=zh-Hant

<meta name="robots" content="noindex">
<meta name="googlebot" content="noindex">
1
陳軒立
iT邦研究生 5 級 ‧ 2020-07-09 19:29:10

走cloudflare proxied 用cloudflare firewall 檔known-bots

0
qqmina665
iT邦見習生 ‧ 2020-07-11 13:07:19

使用Robot!

我要發表回答

立即登入回答