robots.txt 只能放在根目錄嗎?

google robots

mayyola 2019-08-01 21:57:13 ‧ 1523 瀏覽

分享至

想請問想阻擋搜尋引擎搜尋根目錄(home)底下abc資料夾的所有東西
robots.txt只能放在home下嗎?可以放在abc的資料夾嗎?
把robots.txt放入根目錄，經google robots.txt 測試 abc資料夾才顯示被封鎖
User-agent: *
Disallow: /abc/
不過google好像還是沒辦法馬上移除?

若把robots.txt 放入abc資料夾測試好像不行，是因為abc資料夾有加入console search嗎?
User-agent: *
Disallow: /

謝謝

看更多先前的討論...收起先前的討論...

slime iT邦大師 1 級 ‧ 2019-08-01 22:35:19 檢舉

參考:
https://support.google.com/webmasters/answer/6062608?hl=zh-Hant

player iT邦大師 1 級 ‧ 2019-08-02 19:03:38 檢舉

那個檔案是給外面的爬蟲看的, 只能放在根目錄吧
不然爬蟲會不知道你的網站有哪些內容不要給它抓
https://zh.wikipedia.org/wiki/Robots.txt

mike8864aabb iT邦新手 4 級 ‧ 2019-08-04 01:14:57 檢舉

是的，robots.txt只能放在網站根目錄，正如同你家的門牌不會放在房間裡

各家搜尋引擎爬蟲程式每隔一段時間才會檢索網站上的robots.txt
1.想要加快檢索速度，可以透過各家搜尋引擎的網站管理工具提交robots.txt
(不會到即時生效)

2.如果想要移除已被收錄的搜尋結果，也請透過各家搜尋引擎的網站管理工具提交移除申請，同時在robots.txt也宣告不要收錄的網址

(各家搜尋引擎的網站管理工具必須具備網站管理者權限)