iT邦幫忙

0

robots.txt 只能放在根目錄嗎?

想請問想阻擋搜尋引擎搜尋根目錄(home)底下abc資料夾的所有東西
robots.txt只能放在home下嗎?可以放在abc的資料夾嗎?
把robots.txt放入根目錄,經google robots.txt 測試 abc資料夾才顯示被封鎖
User-agent: *
Disallow: /abc/
不過google好像還是沒辦法馬上移除?

若把robots.txt 放入abc資料夾測試好像不行,是因為abc資料夾有加入console search嗎?
User-agent: *
Disallow: /

謝謝

看更多先前的討論...收起先前的討論...
slime iT邦大師 1 級 ‧ 2019-08-01 22:35:19 檢舉
參考:
https://support.google.com/webmasters/answer/6062608?hl=zh-Hant
player iT邦大師 1 級 ‧ 2019-08-02 19:03:38 檢舉
那個檔案是給外面的爬蟲看的, 只能放在根目錄吧
不然爬蟲會不知道你的網站有哪些內容不要給它抓
https://zh.wikipedia.org/wiki/Robots.txt
是的,robots.txt只能放在網站根目錄,正如同你家的門牌不會放在房間裡

各家搜尋引擎爬蟲程式每隔一段時間才會檢索網站上的robots.txt
1.想要加快檢索速度,可以透過各家搜尋引擎的網站管理工具提交robots.txt
(不會到即時生效)

2.如果想要移除已被收錄的搜尋結果,也請透過各家搜尋引擎的網站管理工具提交移除申請,同時在robots.txt也宣告不要收錄的網址


(各家搜尋引擎的網站管理工具必須具備網站管理者權限)
mayyola iT邦新手 1 級 ‧ 2019-08-04 09:56:40 檢舉
謝謝大家,我原本以為可以把robots.txt放在子目錄,就只針對子目錄中的網頁做禁止搜尋:)

1 個回答

0
elsaking
iT邦見習生 ‧ 2019-08-31 17:57:13

robots.txt 只能放在根目錄 http://tiny.cc/8uyubz

我要發表回答

立即登入回答