SEO優化-robots.txt

robots.txt是存放在網站根目錄下的一份文件,目的是讓搜尋引擎明確的知道網站允許或禁止抓取哪些頁面。

比如想要禁止Google的user-agents Googlebot,讀取Photo下的所有內容,就可以利用以下語法來指定。

User-agent: googlebot 
Disallow: /Photo 

而WordPress其實在網站根目錄下是找不到robots.txt文件,但實際在連結網站的https://mamachips.tw/robots.txt ,還是會出現這份文件,是因為WordPress會自動生成robots.txt。所以在建立網站之後,還是要自行去確認此份文件是否存在,如果沒有文件的話,就需要手動創建並放上去。

• 以下是 WordPress自動產生的robots.txt內容:

User-agent: * 
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

• 解釋:

1. 代表所有的搜尋引擎都可以爬取網站
2. 禁止搜尋引擎讀取/wp-admin/下的所有文件,因為wp-admin為WordPress控制台,所以無需檢索
3. 允許搜尋引擎讀取/wp-admin/admin-ajax.php,主要是許多WordPress主題還使用異步JavaScript請求（即所謂的AJAX）向網頁添加內容。而admin-ajax.php主要是在處理ajax來進行非同步請求的地方,所以允許這個網頁被讀取

• 參考連結:

1. WordPress robots.txt: Best-practice example for SEO
2. The ultimate guide to robots.txt