很多建設系統在建設網站后，在所有網站的根目錄中默認robots.txt協議文件。 在網站優化競爭日益激烈的今天，最初設立的沒有優化因素的robots.txt文件也被最大化使用，掌握了其寫法，掌握了有無患者。

robots.txt協議文件有什么用？

搜索引擎訪問網站時，第一個訪問的文件是robots.txt。 她告訴搜索引擎蜘蛛能捕獲哪個網站頁面，不能捕獲哪個網站頁面。 從表面上看，這個功能的作用有限。 從搜索引擎優化的觀點來看，屏蔽頁面可以起到集中權重的作用，這也是優化者最重要的地方。

以seo站點為例，robots.txt文件如下：

2 :在網站上安裝robots.txt的幾個理由。

1 :設置訪問權限以保護站點安全。

2 :禁止搜索引擎爬無效的頁面，把權重集中在主頁上。

三：如何用標準寫法寫協議？

我們需要掌握一些概念。

User-agent指示定義哪個搜索引擎，如User-agent:Baiduspider，并定義百度蜘蛛。

Disallow表示禁止訪問。

Allow表示要執行訪問。

以上三個命令可以組合多種寫法，允許哪個搜索引擎訪問或禁止哪個頁面。

四： robots.txt文件放在哪里？

這個文件必須放在網站的根目錄中，字符大小有限制。 文件名必須是小寫字母。 所有命令的第一個字母必須是大寫字母。 其余的小寫字母。 另外，命令后需要英語文字空間。

5 :我需要什么時候使用這個協議？

1 :浪費的頁面，很多網站都有聯系方式和用戶協議等頁面。 這些頁面對搜索引擎的優化沒有太大的效果

2 :動態頁面、企業類型網站屏蔽動態頁面，有助于網站的安全。 另外，多個網站訪問同一頁面時，權重會分散。 因此，通常會屏蔽動態頁面，并保留靜態或偽靜態頁面。

3 :網站背景頁面、網站背景也可以分類為無用的頁面，禁止收錄是有益的，沒有害處。

資料來源： robots.txt協議