本文將教您如何利用站點服務器日志作為SEO分析工具，以更好地了解搜索引擎機器人與站點的交互方式。在本文中，我們將只關注Google的Googlebot和Googlebot Smartphone。因此，從現在開始，每當提到機器人時，是在指Google。（本教程適用于百度）
同樣值得注意的是，服務器日志通常也包含其他交互數據，但是我們在這里只涉及搜索引擎機器人流量。
什么是服務器日志文件？
簡而言之，服務器日志文件是服務器自動生成的記錄，列出了搜索引擎機器人與其中包含的頁面/資源的每次交互。簡而言之，每次漫游器請求服務器上的頁面時，都會創建一個日志項，其中顯示了各種數據點，例如：
*Warning: Jargon Zone*
請求了什么頁面或資源？
請求了哪種資源？（HTML，JavaScript等）
使用什么方法？（獲取或發布）
該請求何時發生？
請求的響應代碼是什么？（200、301、404、500等）
還有最重要的數據點…* drumroll * …哪個搜索引擎機器人發出了請求以及發出了多少請求！（Googlebot，Googlebot Smartphone，Bingbot，Baidu等）
為什么機器人抓取如此重要？
能夠一目了然地確定機器人在一段時間內正在請求哪些頁面，這使我們能夠識別潛在的“問題”頁面。
什么是“問題”頁面？
我將這些頁面定義為在一個特定的時間范圍內（至少一個月或三個月）幾乎沒有機器人請求的頁面。為了進行衡量，假設在一個月內任何具有10個或更少的漫游器請求的頁面都是潛在的“問題”頁面。由于這是一個可縮放的比例，請根據網站大小（例如，小于10，小于30，小于50等）隨意從此數字開始并繼續進入列表。
機器人流量低的原因有哪些？
頁面位于網站導航的深處，導致機器人平均需要更長的時間才能到達。
跨多個頁面的內容稀少或重復，導致漫游器在請求頁面時沒有那么緊迫性或重要性。
頁面未包含在XML網站地圖中，導致漫游器僅依靠自然爬網進行查找。
缺少指向頁面的內部/外部鏈接，從而使機器人找到它們的途徑少得多。
技術問題，例如格式不正確的robots.txt文件阻止了bot爬行網站上的某些區域。
機器人流量低有什么影響？
頁面根本沒有被拾取和索引。
如果在索引頁面上更新頁面內容，則刷新后的內容可能需要更長的時間才能被檢索和建立索引，意味著網站的訪問者可能會看到過時的內容。
話雖這么說，重要的是要注意，具有低漫游器流量的頁面并不總是引起人們關注的。這只是為了幫助識別潛在問題頁面的晴雨表，并不保證實際上有任何錯誤。
網站大小如何影響機器人爬行？
大型 – 如果大型網站包含1000多個頁面，則機器人可能會遇到一個問題，即通過自然的爬網進度持續到達較深的頁面。這些可能是將與日志文件一起審核的頁面，以確定重要性和優先級。
中小型網站 – 對于中型網站和小型網站而言，其網頁大約少于500頁，因此漫游器應該能夠毫無問題地抓取大部分頁面。在這種情況下，您可能正在審核日志文件，以查找邏輯上應更頻繁地進行爬網的頁面。
利用服務器日志分析seo
1.訪問網站的服務器日志
獲得對站點日志文件的訪問權限并將之解析后，開始審核潛在的“問題”頁面。（我將使用Screaming Frog的Log Analyzer工具進行此特定演練）
就最佳做法而言，需要審核至少一個月的數據，以準確描繪出網站上機器人活動的狀態。要分析的數據量實際上取決于站點的大小，頁面越多，將擁有更多的“事件”，這實際上會減慢導入速度。
2.驗證機器人
開始導入過程后，將出現一個框，詢問您是否要在導入時“驗證”機器人。該過程實質上涉及對向服務器發出請求的每個漫游器的IP地址執行反向DNS查找，以識別假機器人。（當然，也可以利用nslookup命令符進行識別IP）
3.篩選和過濾
導入要分析的日志文件數據量后，可以自行調整視圖結構，請注意下面提到的兩個Googlebot列，這我們稍后將重點討論的列。
接下來導出數據，以便更好地過濾和處理數據，在“行”列上方的左側找到導出按鈕。
4.審核數據
數據導出到Excel電子表格后，可以通過Googlebot和Googlebot Smartphone過濾數據，將請求數量最多的頁面過濾到數量最少的頁面將隔離潛在的“問題”頁面。
如下所示，網站上有很多頁面，在一個月的時間里，它們僅收到一個Googlebot請求！這可能是一個問題，但是我們需要進一步調查。
編譯好要分析的頁面列表后，就該重新討論前面有關機器人流量低的可能原因的部分。
結論
服務器日志文件為我們提供了搜索引擎機器人如何與特定網站交互的視圖，為進一步的seo優化提供了必要的信息，以更好地了解機器人為何會忽略網站上的某些頁面以及如何進行最佳優化。
