當我與人們談論我做什么以及SEO是什么時，他們通常會很快問到如何提升網絡爬蟲的抓取率，良好的網站結構，良好的內容，良好的反向鏈接支持。但有時，它會變得更具技術性……

　　網絡爬蟲為什么要爬行網站？

　　網絡爬行開始于映射互聯網以及每個網站如何相互連接，它也被搜索引擎用于發現和索引新的網絡頁面。網絡爬蟲還用于測試網站和分析是否發現網站漏洞。

　　網絡爬蟲用于收集信息，然后使用和處理這些信息以對文檔進行分類并提供有關所收集數據的見解。

　　只要熟悉代碼的人都可以訪問并構建爬蟲，但是，制作高效的爬蟲很困難并且需要花費更多時間。

　　網絡爬蟲是如何工作的 ？

　　要抓取網站或網頁，首先需要一個入口點。機器人需要知道您的網站存在，以便他們可以來查看。在您將網站提交給搜索引擎的時候，網絡爬蟲就知道你的網站是存在于互聯網之中。當然，您也可以建立一些指向您網站的鏈接，并且引導爬蟲循環爬行！

　　網絡爬蟲一旦登陸您的網站，它會逐行分析您的所有內容，并跟蹤您擁有的每個鏈接，無論它們是內部還是外部。依此類推，直到它落在沒有更多鏈接的頁面上，或者遇到404,403,500,503等錯誤才會離開。

　　從更技術的角度來看，爬蟲使用URL的種子（或列表）。然后傳遞給搜索引擎，它將檢索頁面的內容。然后將此內容移至鏈接提取器，該提取器將解析HTML并提取所有鏈接。這些鏈接被發送到存儲器。這些URL也將通過頁面過濾器，該過濾器將所有鏈接發送到URL模塊。此模塊檢測是否已經看到URL。如果沒有，它將被發送到抓取程序，它將檢索頁面的內容，依此類推。

　　注意，蜘蛛無法抓取某些內容，例如Flash。百度蜘蛛與GoogleBot目前能夠正確抓取部分Javascript。

　　如果機器人沒有被任何規則禁止，他們將抓取一切可被發現的鏈接。這使得robots.txt文件變得非常有用。它告訴爬蟲（它可以是每個爬蟲特定的，即GoogleBot或Baidu Spider ?–?在這里找到關于機器人的更多信息）他們無法抓取的頁面。比方說，您可以使用構面進行導航，您可能不希望機器人抓取這些，因為它們幾乎沒有價值，并且會浪費抓取預算，查看robots.txt文件協議設置簡介。

　　例：

　　User-agent：*?

　　Disallow：/ admin /?

　　這告訴所有機器人不要抓取admin文件夾?

　　User-agent：Baidu Spider?

　　Disallow：/ repertoire-b /?

　　另一方面，這指定只有Baidu Spider無法抓取文件夾B.

　　您還可以在HTML中使用指示，告知機器人不要使用rel=“nofollow”標記來關注特定鏈接。有些測試表明即使在鏈接上使用rel=“nofollow”標記也不會阻止Baidu Spider跟蹤它。這與其目的相矛盾，但在其他情況下會有用。

　　抓取預算是什么？

　　假設有一個搜索引擎已經發現一個網站，他們經常會查看您是否在您的網站上進行了任何更新或者創建了新頁面。

　　每個網站都有自己的抓取預算，具體取決于幾個因素，例如您網站的網頁數量和網站的完整性（例如，如果它有很多錯誤）。通過登錄百度站長平臺，您可以輕松快速了解抓取預算。

　　網站抓取預算將修復每次訪問時機器人在您網站上抓取的網頁數量。它與您網站上的網頁數量成比例關聯，某些頁面被更頻繁地被抓取，特別是定期更新或者從重要頁面鏈接。

　　例如，網站主頁是主要的入口點，將經常被抓取。如果您有博客或類別頁面，如果它們鏈接到主導航，它們將經常被抓取。博客也會經常被抓取，因為它會定期更新。博客文章在首次發布時可能會被抓取，但幾個月后它可能無法更新。

　　頁面被抓取的次數越多，機器人認為與其他頁面相比它就越重要，這時您需要開始優化抓取預算。

　　如何優化抓取預算？

　　為了優化爬網預算并確保您最重要的頁面得到應有的關注，您可以分析服務器日志并查看您的網站被抓取的方式：

　　網站首頁被抓取的頻率

　　查看被抓取的重要頁面比其他更重要的頁面更重要？

　　在抓取您的網站時，機器人經常會收到4xx或5xx錯誤嗎？

　　機器人遇到任何蜘蛛陷阱嗎？

　　通過分析您的日志，您將看到您認為不太重要的頁面正在被大量抓取。然后，您需要深入了解內部鏈接結構。如果它正在被抓取，它必須有很多指向它的鏈接。

　　爬行VS采集？

　　爬行和采集是兩種不同的用途，用于不同的目的。抓取程序按照您設定的規則并在掃描內容時找到鏈接。然后，爬蟲將移動到另一個頁面，依此類推。

　　另一方面，采集是掃描頁面并從頁面中收集特定數據：標題標簽，元描述，h1標簽或網站的特定區域，如價格列表。采集通常充當“人類”，他們將忽略robots.txt文件中的任何規則，以表格形式存檔并使用瀏覽器用戶代理以便不被檢測到。

　　搜索引擎爬蟲通常充當抓取器，并且他們需要收集數據以便為其排序算法處理它。與采集相比他們不尋找特定的數據，他們只是使用頁面上的所有可用數據甚至更多。搜索引擎抓取工具將始終將自己標識為抓取工具，以便網站所有者可以知道他們上次訪問其網站的時間。當您跟蹤真實用戶活動時，這非常有用。

　　因此，如果您現在了解爬網及其工作原理，下一步應該開始分析服務器日志。這將為您提供有關機器人如何與您的網站互動，他們經常訪問的網頁以及訪問您網站時遇到的錯誤的提供深入的見解。