我認為機器人協議是站長行使網站支配權的執行文件，這是我們作為站長最基本的權利。 因為搜索引擎的蜘蛛是爬網站之前面對的第一道門，所以也考慮到了robots協議的重要性。 說細節決定成敗，那么重要的東西細節特別重要，很多時候自己不小心忽略的細節到最后都有可能成為你的致命打擊。 本人之所以這么說，是因為我差點成為這個問題的反面教材。 因為一找到就死羊就要進牢了吧。 我想馬上和大家分享是因為今后自己站著的時候不要犯同樣的錯誤。




事實是今天。 小明SEO博客也剛做好，我發現前幾天網站上線后有很多需要處理的小問題。 為了避免網站在調整過程中被搜索引擎抓住，robots協議寫了禁止所有搜索引擎爬上網站的任何部分的命令。 網站調整持續了幾天(因為長這么久是受不了傷的人，不知道不是強迫癥的一種)，昨天也完全竣工了，在這期間，我每天堅持添加原創文章。 昨天網站檢查結束，所有問題都解決后，重新交換robots協議，發送蜘蛛希望爬蟲類早日登上我的網站的帖子。 這樣，到了今天早上發現網站還沒有收錄，所以去百度站長的工具平臺看看我的網站到底是什么狀況，進去一看嚇了一跳。 因為我看到了下面(如圖所示)的信息。




https://www.xminseo.com/wp-content/uploads/2015/02/tishi.png




我的網站竟然全面封鎖了百度。 檢查時間是今天(2月4日)上午5點左右。 像丈二的僧侶一樣摸不到頭。 不科學。 昨天2月3日上午更改了網站上的robots協議，真的很奇怪。 總算在站長平臺工具的“robots檢查”中找到了答案。 請看下圖。




https://www.xminseo.com/wp-content/uploads/2015/02/shijian.jpg




百度蜘蛛早在我網站蜘蛛上線后的第三天就獲得了我網站的robots協議，所以現在生效的協議是當時它獲得的我把蜘蛛全部屏蔽了的時候，本站最新的robot協議還沒有既然知道了原因，就容易做了。 于是我馬上更新了協議提交。 如下圖所示。




https://www.xminseo.com/wp-content/uploads/2015/02/gengx.png




更新后一分鐘內協議被更新了。 如下圖所示。




https://www.xminseo.com/wp-content/uploads/2015/02/gengxinyihou.jpg




可知現在本站的最新robots有效。 這樣到了下午，我再次進入百度站長平臺時收到了新消息。 下圖所示。




https://www.xminseo.com/wp-content/uploads/2015/02/yijingjiefeng.jpg




現在網站解除了robots協議對百度的全面禁止。 檢查時間從今天下午兩點開始。 一到晚上差不多三個多小時前，我再次檢查網站的收錄情況時，網站的首頁已經被收錄了。 如下圖所示。




https://www.xminseo.com/wp-content/uploads/2015/02/shoulu1.png




網站終于被收錄了，最高興的是通過自己的努力發現問題并解決了。 這是今天最大的成就。 當然，如果找不到這個問題，網站可能還有10天半就不會著色了。 所以，對于robots協議，在阻止蜘蛛后后期解除阻止時，一定要記住及時更新robots協議“http:\\域名\ 你可能認為輸入robots.txt來改變網站的協議就行了，但在實踐中為了證明這種方式不是完全可靠的，必須記住這次的經驗。 robots一調整就必須提交更新。




溫暖的提示：我剛才看到時間了。 已經第二天了。 寫這篇文章是2月4日，現在發表的時間是2月5日。 所以，文章中提到的“今天”是2月4日。 大家不要混亂。