分享內容(
在 perl 的 CGI 的寫法:
要不要給 Google 或其他 Spider 抓的寫法:
最簡單是在網頁根目錄加上robots.txt防止任何Spider來抓。
11人
一般HTML上的語法:
<META HTTP-EQUIV="PRAGMA" CONTENT="NO-CACHE"> <!-- IE可能不見得有效 --> <META HTTP-EQUIV="EXPIRES" CONTENT="0"> <!-- 設定成馬上就過期 --> <META HTTP-EQUIV="CACHE-CONTROL" CONTENT="NO-CACHE"> <!-- 與第一行是同樣的作用 --> # 其參數可以用這些方式設定: #HTTP 1.1. Allowed values = PUBLIC | PRIVATE | NO-CACHE | NO-STORE. #Public - may be cached in public shared caches #Private - may only be cached in private cache #no-Cache - may not be cached #no-Store - may be cached but not archived <META HTTP-EQUIV="EXPIRES" CONTENT="Mon, 22 Jul 2002 11:12:01 GMT"> <!-- 常見此寫法 -->
在 perl 的 CGI 的寫法:
print "Content-type: text/html\; charset=big5\n"; print "Pragma: no-cache\n"; print "expires: Mon, 22 Jul 2002 11:12:01 GMT\n\n";
要不要給 Google 或其他 Spider 抓的寫法:
<META NAME="ROBOTS" CONTENT="ALL"> <META NAME="ROBOTS" CONTENT="INDEX,NOFOLLOW"> <META NAME="ROBOTS" CONTENT="NOINDEX,FOLLOW"> <META NAME="ROBOTS" CONTENT="NONE"> # 可用的參數: #CONTENT="ALL | NONE | NOINDEX | INDEX| NOFOLLOW | FOLLOW | NOARCHIVE" #default = empty = "ALL" #"NONE" = "NOINDEX, NOFOLLOW" # #The CONTENT field is a comma separated list: #INDEX: search engine robots should include this page. #FOLLOW: robots should follow links from this page to other pages. #NOINDEX: links can be explored, although the page is not indexed. #NOFOLLOW: the page can be indexed, but no links are explored. #NONE: robots can ignore the page. #NOARCHIVE: Google uses this to prevent archiving of the page. See http://www.google.com/bot.html <META NAME="GOOGLEBOT" CONTENT="NOARCHIVE">
最簡單是在網頁根目錄加上robots.txt防止任何Spider來抓。
User-agent: * Disallow: /
參考資料:http://www.i18nguy.com/markup/metatags.html
▼ ADVERTISEMENT ▼
-
‧
-
‧
-
‧
相關問答
- 近日兩個「搜尋引擎專業論壇」
- 用搜尋引擎做IT設備各種Log事件管理
- GoGoBox 專用搜尋引擎
- Sleipnir - 日本人認為的世界第一瀏覽器
- 由Google的專利清單推測PageRank的演算因素
- 如何成一位超強的網頁程式設計師,需要加強那些技巧?
- OES企業搜尋軟體 (Openfind Enterprise Search) :搜尋引擎測試實況
- 離線瀏覽
- 如何能讓瀏覽器多重開啟首頁能有多種開啟方式?
- 防止瀏覽的網址遭嫁接
- FINDBOX 是GOGOBOX資源的搜尋引擎
- Twitter搜尋引擎,用RSS訂閱「關鍵字」,發文馬上通知!
- OES 企業搜尋軟體,以唯一軟體產品榮獲第十六屆台灣精品獎
- 網頁製作,新增一頁html要怎設定
- 讓Firefox捲動頁面時更平滑、更順手 (Yet Another Smooth Scrolling)
- 解決IE6不支援css min-width與min-height
- 分類檢索 classified retrieval
- Windows 2003 Server上跑哪種CPU最快且穩定
- [每日一問](27)瀏覽器「我的最愛」中,IT人都放了哪些網站?
- 電子化政府資訊分類檢索









