iT邦幫忙

0

(已解决)同IP虛擬主機,多網站上線,隱藏某些網站如何設定robot.txt?

seo seo優化 google seo 虛擬主機 網站
Amy 2021-04-16 10:46:35 ‧ 1301 瀏覽

  • 分享至 

  • xImage

如標題,我網站的虛擬主機(同IP)有掛多個網站也都上線(不同網域),

每個網站的網址結構與網站內容完全一樣,

目前是要公開網站的robot.txt文件設定：

User-agent:*

Disallow:

那其他不想被所有搜尋引擎收錄網站的robot.txt如果設定以下內容,所有搜尋引擎還會抓取嗎?

User-agent:*

Disallow:/

如果所有搜尋引擎是看網域,不想被所有搜尋引擎收錄的網站就可以添加robot.txt阻止抓取

如果所有搜尋引擎是看IP,不想被所有搜尋引擎收錄的網站就沒必要添加robot.txt了...

看更多先前的討論...收起先前的討論...
純真的人 iT邦大師 1 級 ‧ 2021-04-16 11:09:56 檢舉
robot.txt 只對正人君子有用~
對於小人無效@@...
通常你的子網域不分享在主網域、其他網站~沒人知道~
Amy iT邦新手 4 級 ‧ 2021-04-16 11:35:20 檢舉
我知道對小人(駭客那些)無效,沒有要防他們
我目的只是要防搜尋引擎
網友搜索我的網站名字還是與我網站內容相關的關鍵字時
我其他不想被所有搜尋引擎收錄的網站不會出現在搜尋結果頁就好了~
Amy iT邦新手 4 級 ‧ 2021-04-16 11:38:11 檢舉
另外你說的,子網域分享在主網域,我理解的意思是：
主網域的網頁中含有子網域的超連結
是這樣嗎？
純真的人 iT邦大師 1 級 ‧ 2021-04-16 13:37:03 檢舉
對唷~主網域的網頁中含有子網域的超連結會被知道~
Amy iT邦新手 4 級 ‧ 2021-04-16 13:46:42 檢舉
那我不想被所有搜尋引擎收錄的網站的robot.txt這樣設定可阻擋搜尋引擎收錄網站的話：
User-agent:*
Disallow:/
會影響到想讓搜尋引擎收錄的網站嗎?
畢竟網站都放在同一虛擬主機(同IP)...
純真的人 iT邦大師 1 級 ‧ 2021-04-16 14:15:07 檢舉
只會影響當前網域而已@@~
虛擬主機其他網站不會受到影響~
Amy iT邦新手 4 級 ‧ 2021-04-16 14:39:25 檢舉
阿阿 感謝!!!
讓我有了執行的勇氣
好人一生平安
純真的人 iT邦大師 1 級 ‧ 2021-04-16 14:48:44 檢舉
加油~
登入發表討論
圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友回答

立即登入回答
iThome鐵人賽
參賽組數
1064 組
團體組數
40 組
累計文章數
22195 篇
完賽人數
600 人
iT+看影片追技術 看影片追技術 看更多
熱門tag 看更多
15th鐵人賽 16th鐵人賽 13th鐵人賽 14th鐵人賽 12th鐵人賽 11th鐵人賽 鐵人賽 2019鐵人賽 javascript 2018鐵人賽 python 2017鐵人賽 windows php c# windows server linux css react vue.js
熱門問題
熱門回答
熱門文章
IT邦幫忙