你知道像百度這樣的搜索引擎如何發(fā)現(xiàn)，抓取和排列數(shù)以萬億計(jì)的網(wǎng)頁(yè)，以便提供搜索結(jié)果嗎？
盡管搜索引擎的整體工作原理較為復(fù)雜，但我嘛可以理解一些非技術(shù)性的東西，如抓取，索引和排名，以便我嘛更好地理解搜索引擎優(yōu)化策略背后的方法。
據(jù)統(tǒng)計(jì)網(wǎng)絡(luò)上頁(yè)面結(jié)果超過130萬億個(gè)。實(shí)際上，可能遠(yuǎn)遠(yuǎn)超過這個(gè)數(shù)字，有很多頁(yè)面因?yàn)楦鞣N原因被百度排除在抓取，索引和排名過程之外。
為了保持搜索結(jié)果盡可能的與用戶搜索相關(guān)，像百度這樣的搜索引擎有一個(gè)明確定義的流程，即用于為任何給定的搜索查詢確定最佳網(wǎng)頁(yè)，這個(gè)過程隨著時(shí)間的推移而變化，因?yàn)樗梢允顾阉鹘Y(jié)果更好。
基本上，我們?cè)噲D回答這個(gè)問題：“百度如何確定以及排序搜索結(jié)果？”。簡(jiǎn)而言之，這個(gè)過程包含以下步驟：
1.抓取 – 發(fā)現(xiàn)網(wǎng)絡(luò)上頁(yè)面并抓取；
2.索引 – 存儲(chǔ)所有檢索到的頁(yè)面的信息供日后檢索；
3.排名 – 確定每個(gè)頁(yè)面的內(nèi)容，以及應(yīng)該如何對(duì)相關(guān)查詢進(jìn)行排名；
讓我們仔細(xì)看看更簡(jiǎn)單的解釋…
抓取
搜索引擎具有專門的抓取工具（又名蜘蛛），可以“爬行”萬維網(wǎng)來發(fā)現(xiàn)存在的頁(yè)面，以幫助確定最佳網(wǎng)頁(yè)，以便對(duì)查詢進(jìn)行評(píng)估，爬蟲旅行的方式是網(wǎng)站鏈接。網(wǎng)站鏈接將整個(gè)網(wǎng)站上的頁(yè)面鏈接在一起，這樣做為抓取工具創(chuàng)建了一條通往存在的萬億互聯(lián)網(wǎng)頁(yè)的途徑。
百度蜘蛛
每當(dāng)爬蟲查看網(wǎng)頁(yè)時(shí)，他們都會(huì)查看頁(yè)面的“文檔對(duì)象模型”（或“DOM”），以查看其中的內(nèi)容。DOM頁(yè)面呈現(xiàn)HTML和Javascript代碼，爬蟲可以通過它查找其他頁(yè)面的鏈接，這允許搜索引擎發(fā)現(xiàn)網(wǎng)頁(yè)上的新頁(yè)面，并且找到每個(gè)新鏈接都會(huì)加載到該爬蟲將在稍后訪問的隊(duì)列中。
如前所述，像百度這樣的搜索引擎不會(huì)抓取每一個(gè)網(wǎng)頁(yè)，相反，他們從一組可信的網(wǎng)站開始，這些網(wǎng)站是確定其他網(wǎng)站如何衡量的基礎(chǔ)，并且通過跟蹤他們?cè)谒麄冊(cè)L問的網(wǎng)頁(yè)上看到的鏈接，擴(kuò)展了他們?cè)诰W(wǎng)絡(luò)上的抓取。
相關(guān)閱讀：百度蜘蛛優(yōu)化教程
索引
索引是將關(guān)于網(wǎng)頁(yè)的信息添加到搜索引擎索引中的行為，索引是一組網(wǎng)頁(yè) – 一個(gè)數(shù)據(jù)庫(kù) – 包含搜索引擎蜘蛛爬取頁(yè)面的信息。
索引目錄和組織：
·每個(gè)網(wǎng)頁(yè)內(nèi)容的性質(zhì)和主題相關(guān)性的詳細(xì)數(shù)據(jù)；
·每個(gè)頁(yè)面鏈接到的所有頁(yè)面的地圖；
·任何鏈接的可點(diǎn)擊（錨點(diǎn)）文字；
·有關(guān)鏈接的其他信息，例如它們是否是廣告，它們位于頁(yè)面上的位置以及鏈接上下文的其他方面，以及關(guān)于接收鏈接的頁(yè)面的含義… 和更多。
索引是當(dāng)用戶在搜索引擎中輸入查詢時(shí)，百度等搜索引擎存儲(chǔ)和檢索數(shù)據(jù)的數(shù)據(jù)庫(kù)決定從索引中顯示哪些網(wǎng)頁(yè)并按照什么順序顯示之前，搜索引擎會(huì)應(yīng)用算法來幫助排列這些網(wǎng)頁(yè)。
排名
為了向搜索引擎的用戶提供搜索結(jié)果，搜索引擎必須執(zhí)行一些關(guān)鍵步驟：
1.解釋用戶查詢的意圖；
2.識(shí)別與查詢相關(guān)的索引中的網(wǎng)頁(yè)；
3.按相關(guān)性和重要性排序并返回這些網(wǎng)頁(yè)；
這是搜索引擎優(yōu)化的主要領(lǐng)域之一，有效的SEO有助于影響這些網(wǎng)頁(yè)對(duì)相關(guān)查詢的相關(guān)性和重要性。
那么，相關(guān)性和重要性意味著什么？
·相關(guān)性：網(wǎng)頁(yè)上的內(nèi)容與搜索者的意圖相匹配的程度（意圖是搜索者試圖完成搜索的目的，這對(duì)于搜索引擎（或SEO）來說是一個(gè)不小的任務(wù)）。
·重要性：他們?cè)趧e處引用的越多，網(wǎng)頁(yè)被認(rèn)為越重要（將這些引用視為該網(wǎng)頁(yè)的信任投票）。傳統(tǒng)上，這是從其他網(wǎng)站鏈接到該網(wǎng)頁(yè)的形式，但也可能有其他因素發(fā)揮作用。
為了完成分配相關(guān)性和重要性的任務(wù)，搜索引擎具有復(fù)雜的算法，旨在考慮數(shù)百個(gè)信號(hào) ，以幫助確定任何給定網(wǎng)頁(yè)的相關(guān)性和重要性。
這些算法通常會(huì)隨著搜索引擎的工作而改變，以改善他們向用戶提供最佳結(jié)果的方法。
雖然我們可能永遠(yuǎn)不會(huì)知道百度等搜索引擎在其算法中使用的完整信號(hào)列表（這是一個(gè)嚴(yán)密保密的秘密，并且有充分的理由，以免某些不道德者使用其來對(duì)系統(tǒng)進(jìn)行排名），但搜索引擎已經(jīng)揭示了一些通過與網(wǎng)絡(luò)出版社區(qū)共享知識(shí)的基礎(chǔ)知識(shí)，我們可以使用這些知識(shí)來創(chuàng)建持久的SEO策略。
搜索引擎如何評(píng)估內(nèi)容？
作為排名過程的一部分，搜索引擎需要理解它所搜索的每個(gè)網(wǎng)頁(yè)內(nèi)容的性質(zhì)，事實(shí)上，百度對(duì)網(wǎng)頁(yè)內(nèi)容作為排名信號(hào)很重視。
在2016年，百度證實(shí)了我們?cè)S多人已經(jīng)相信的內(nèi)容：內(nèi)容是網(wǎng)頁(yè)排名前三位的因素之一。
為了理解網(wǎng)頁(yè)的內(nèi)容，搜索引擎分析出現(xiàn)在網(wǎng)頁(yè)上的詞語和短語，然后建立一個(gè)稱為“語義地圖”的數(shù)據(jù)地圖，這有助于定義網(wǎng)絡(luò)上的概念之間的關(guān)系頁(yè)。
您可能想知道網(wǎng)頁(yè)上的“內(nèi)容”實(shí)際上是什么，獨(dú)特的頁(yè)面內(nèi)容由頁(yè)面標(biāo)題和正文內(nèi)容組成。在這里，導(dǎo)航鏈接通常不在這個(gè)等式中，這并不是說它們并不重要，但在這種情況下，它們不被視為頁(yè)面上的獨(dú)特內(nèi)容。
搜索引擎可以在網(wǎng)頁(yè)上“查看”什么樣的內(nèi)容？
為了評(píng)估內(nèi)容，搜索引擎在網(wǎng)頁(yè)上找到的數(shù)據(jù)以解釋理解它，由于搜索引擎是軟件程序，他們“看到”網(wǎng)頁(yè)的方式與我們看到的截然不同。
搜索引擎爬蟲以DOM的形式查看網(wǎng)頁(yè)（如我們上面定義的那樣）。作為一個(gè)人，如果你想看看搜索引擎看到什么，你可以做的一件事就是看看頁(yè)面的源代碼，要做到這一點(diǎn)，您可以通過右鍵單擊瀏覽器中并查看源代碼。
源代碼
源代碼
這和DOM之間的區(qū)別在于我們沒有看到Javascript執(zhí)行的效果，但作為一個(gè)人，我們?nèi)匀豢梢允褂盟鼇砹私夂芏嚓P(guān)于頁(yè)面內(nèi)容的內(nèi)容，網(wǎng)頁(yè)上的正文內(nèi)容通常可以在源代碼中找到，以下是HTML代碼中以上網(wǎng)頁(yè)上的一些獨(dú)特內(nèi)容的示例：
除了網(wǎng)頁(yè)上的獨(dú)特內(nèi)容之外，搜索引擎抓取工具還會(huì)在網(wǎng)頁(yè)上添加其他元素，幫助搜索引擎了解該網(wǎng)頁(yè)的內(nèi)容。
這包括如下內(nèi)容：
·網(wǎng)頁(yè)的元數(shù)據(jù)，包括HTML代碼中的標(biāo)題標(biāo)簽和元描述標(biāo)簽，這些標(biāo)簽用作搜索結(jié)果中網(wǎng)頁(yè)的標(biāo)題和說明，并應(yīng)由網(wǎng)站所有者維護(hù)。
·網(wǎng)頁(yè)上圖像的alt屬性，這些是網(wǎng)站所有者應(yīng)該保留的描述，以描述圖像的內(nèi)容。由于搜索引擎無法“看見”圖像，這有助于他們更好地理解網(wǎng)頁(yè)上的內(nèi)容，并且對(duì)于那些使用屏幕閱讀程序來描述網(wǎng)頁(yè)內(nèi)容的殘障人士也起著重要作用。
我們已經(jīng)提到了圖片，以及alt屬性如何幫助爬蟲了解這些圖片的內(nèi)容，搜索引擎無法看到的其他元素包括：
Flash文件：百度曾表示可以從Adobe Flash文件中提取一些信息，但這很難，因?yàn)镕lash是一種圖片媒介，當(dāng)設(shè)計(jì)人員使用Flash來設(shè)計(jì)網(wǎng)站時(shí)，他們通常不會(huì)插入有助于解釋文件內(nèi)容的文本，許多設(shè)計(jì)人員已將HTML5作為Adobe Flash的替代品，這對(duì)搜索引擎友好。
音頻和視頻：就像圖像一樣，搜索引擎很難理解沒有上下文的音頻或視頻。例如，搜索引擎可以在Mp3文件中的ID3標(biāo)簽中提取有限的數(shù)據(jù)，這是許多出版商將音頻和視頻與成績(jī)單一起放在網(wǎng)頁(yè)上以幫助搜索引擎提供更多背景的原因之一。
程序中包含的內(nèi)容：這包括AJAX和其他形式的JavaScript方法，動(dòng)態(tài)加載網(wǎng)頁(yè)上的內(nèi)容。
iframe：iframe標(biāo)記通常用于將自己網(wǎng)站上的其他內(nèi)容嵌入到當(dāng)前網(wǎng)頁(yè)中，或者將來自其他網(wǎng)站的內(nèi)容嵌入到您的網(wǎng)頁(yè)中百度可能不會(huì)將此內(nèi)容視為您的網(wǎng)頁(yè)的一部分，尤其是當(dāng)它來自第三方網(wǎng)站時(shí)。從歷史上看，百度忽略了iframe中的內(nèi)容，但可能有些情況是該通用規(guī)則的例外情況。
結(jié)論
在SEO面前，搜索引擎顯得如此簡(jiǎn)單：在搜索框中輸入查詢，然后poof！顯示你的結(jié)果。但是，這種即時(shí)展現(xiàn)是由幕后的一組復(fù)雜過程支持的，這有助于為用戶搜索識(shí)別最相關(guān)的數(shù)據(jù)，因此搜索引擎可以尋找食譜，研究產(chǎn)品或其他奇奇怪怪不可描述的事情。
