iT邦幫忙

0

(已解决)同IP虛擬主機,多網站上線,隱藏某些網站如何設定robot.txt?

Amy 2021-04-16 10:46:35558 瀏覽

如標題,我網站的虛擬主機(同IP)有掛多個網站也都上線(不同網域),

每個網站的網址結構與網站內容完全一樣,

目前是要公開網站的robot.txt文件設定:

User-agent:*

Disallow:

那其他不想被所有搜尋引擎收錄網站的robot.txt如果設定以下內容,所有搜尋引擎還會抓取嗎?

User-agent:*

Disallow:/

如果所有搜尋引擎是看網域,不想被所有搜尋引擎收錄的網站就可以添加robot.txt阻止抓取

如果所有搜尋引擎是看IP,不想被所有搜尋引擎收錄的網站就沒必要添加robot.txt了...

看更多先前的討論...收起先前的討論...
robot.txt 只對正人君子有用~
對於小人無效@@...
通常你的子網域不分享在主網域、其他網站~沒人知道~
Amy iT邦新手 5 級 ‧ 2021-04-16 11:35:20 檢舉
我知道對小人(駭客那些)無效,沒有要防他們
我目的只是要防搜尋引擎
網友搜索我的網站名字還是與我網站內容相關的關鍵字時
我其他不想被所有搜尋引擎收錄的網站不會出現在搜尋結果頁就好了~
Amy iT邦新手 5 級 ‧ 2021-04-16 11:38:11 檢舉
另外你說的,子網域分享在主網域,我理解的意思是:
主網域的網頁中含有子網域的超連結
是這樣嗎?
對唷~主網域的網頁中含有子網域的超連結會被知道~
Amy iT邦新手 5 級 ‧ 2021-04-16 13:46:42 檢舉
那我不想被所有搜尋引擎收錄的網站的robot.txt這樣設定可阻擋搜尋引擎收錄網站的話:
User-agent:*
Disallow:/
會影響到想讓搜尋引擎收錄的網站嗎?
畢竟網站都放在同一虛擬主機(同IP)...
只會影響當前網域而已@@~
虛擬主機其他網站不會受到影響~
Amy iT邦新手 5 級 ‧ 2021-04-16 14:39:25 檢舉
阿阿 感謝!!!
讓我有了執行的勇氣
好人一生平安
加油~

尚未有邦友回答

立即登入回答