robots.txt禁止收錄協議的寫法

　　1) 允許所有搜索引擎訪問網站的所有部分

　　robots.txt寫法如下：

　　User-agent: *

　　Disallow:

　　或者

　　User-agent: *

　　Allow: /

　　注意： 1. 第一個英文要大寫，冒號是英文狀態下，冒號后面有一個空格，這幾點一定不能寫錯。

　　2) 禁止所有搜索引擎訪問網站的所有部分

　　robots.txt寫法如下：

　　User-agent: *

　　Disallow: /

　　3) 只需要禁止蜘蛛訪問某個目錄，比如禁止admin、css、images等目錄被索引

　　robots.txt寫法如下：

　　User-agent: *

　　Disallow: /css/

　　Disallow: /admin/

　　Disallow: /images/

　　注意：路徑后面有斜杠和沒有斜杠的區別：比如Disallow: /images/ 有斜杠是禁止抓取images整個文件夾，Disallow: /images 沒有斜杠意思是凡是路徑里面有/images關鍵詞的都會被屏蔽

　　4）屏蔽一個文件夾/templets，但是又能抓取其中一個文件的寫法:/templets/main

　　robots.txt寫法如下：

　　User-agent: *

　　Disallow: /templets

　　Allow: /main

　　5) 禁止訪問/html/目錄下的所有以” .php”為后綴的URL(包含子目錄)

　　robots.txt寫法如下：

　　User-agent: *

　　Disallow: /html/*.php

　　6) 僅允許訪問某目錄下某個后綴的文件,則使用“$”

　　robots.txt寫法如下：

　　User-agent: *

　　Allow: .html$

　　Disallow: /

　　7）禁止索引網站中所有的動態頁面

　　比如這里限制的是有“?”的域名，例如index.php?id=1

　　robots.txt寫法如下：

　　User-agent: *

　　Disallow: /*?*

　　8) 禁止搜索引擎抓取我們網站上的所有圖片(如果你的網站使用其他后綴的圖片名稱，在這里也可以直接添加)

　　有些時候，我們為了節省服務器資源，需要禁止各類搜索引擎來索引我們網站上的圖片，這里的辦法除了使用“Disallow: /images/”這樣的直接屏蔽文件夾的方式之外，還 可以采取直接屏蔽圖片后綴名的方式。

　　robots.txt寫法如下：

　　User-agent: *

　　Disallow: .jpg$

　　Disallow: .jpeg$

　　Disallow: .gif$

　　Disallow: .png$

　　Disallow: .bmp$

　　寫robots.txt要注意的地方

　　1. 第一個英文要大寫，冒號是英文狀態下，冒號后面有一個空格，這幾點一定不能寫錯。

　　2. 斜杠：/ 代表整個網站

　　3.如果“/”后面多了一個空格，則屏蔽整個網站

　　4.不要禁止正常的內容

　　5.生效時間是幾天到兩個月