很多建設系統在建設網站后，在所有網站的根目錄中默認robots.txt協議文件。 在網站優化競爭日益激烈的今天，最初設立的沒有優化因素的robots.txt文件也被最大化使用，掌握了其寫法，掌握了有無患者。




robots.txt協議文件有什么用？




搜索引擎訪問網站時，第一個訪問的文件是robots.txt。 她告訴搜索引擎蜘蛛能捕獲哪個網站頁面，不能捕獲哪個網站頁面。 從表面上看，這個功能的作用有限。 從搜索引擎優化的觀點來看，屏蔽頁面可以起到集中權重的作用，這也是優化者最重要的地方。




以seo站點為例，robots.txt文件如下：




https://www.xminseo.com/wp-content/uploads/2017/09/1-29.png




2 :在網站上安裝robots.txt的幾個理由。




1 :設置訪問權限以保護站點安全。




2 :禁止搜索引擎爬無效的頁面，把權重集中在主頁上。




三：如何用標準寫法寫協議？




我們需要掌握一些概念。




User-agent指示定義哪個搜索引擎，如User-agent:Baiduspider，并定義百度蜘蛛。




Disallow表示禁止訪問。




Allow表示要執行訪問。




以上三個命令可以組合多種寫法，允許哪個搜索引擎訪問或禁止哪個頁面。




四： robots.txt文件放在哪里？




這個文件必須放在網站的根目錄中，字符大小有限制。 文件名必須是小寫字母。 所有命令的第一個字母必須是大寫字母。 其余的小寫字母。 另外，命令后需要英語文字空間。




5 :我需要什么時候使用這個協議？




1 :浪費的頁面，很多網站都有聯系方式和用戶協議等頁面。 這些頁面對搜索引擎的優化沒有太大的效果




2 :動態頁面、企業類型網站屏蔽動態頁面，有助于網站的安全。 另外，多個網站訪問同一頁面時，權重會分散。 因此，通常會屏蔽動態頁面，并保留靜態或偽靜態頁面。




3 :網站背景頁面、網站背景也可以分類為無用的頁面，禁止收錄是有益的，沒有害處。




資料來源： robots.txt協議