在網站排除檢索的部分，先前本站淺談過Robots.txt主要是應用在提交給搜尋引擎不需要檢索的頁面名單，也介紹過Robots.txt的實際應用與設定，因此了解排除”檢索”的部分后，我們將要更進階的介紹排除”索引”部分，反觀由開始淺談部分時，我們曾提到搜尋引擎其實是透過的”檢索”與”索引”兩種功能來將網站網頁資訊進行收錄并提供使用者查詢，所以淺談Robots.txt主要是針對檢索這項功能進行排除。

　　?而檢索與索引這兩項功能雖然有極大的關聯性，但實質上在網頁上進行的動作并不相同，這邊我們用更白話的敘述就是

　　檢索=檢查

　　索引=收藏

　　所以搜尋引擎在實際上的運作順序是先透過檢查頁面內容與連結后，才決定是否要收藏，因此Robots.txt 的作用就是在搜尋引擎來訪時，藉由直接提出不需要檢查的資訊，想當然爾就更不可能會被收藏，達到不檢查、不收錄的效果。

　　?在更明確的知道搜尋引擎的收錄原理后，我們將要介紹的部分是透過meta robots 進行”索引”的排除，這時相信大家將會些疑惑，Robots.txt不就能達到不檢查、不收錄的效果了，為什么還需要meta robots 進行”索引”的排除呢？這部分主要原因就是Robots.txt 會使尋引擎直接在不檢查這個步驟中就會忽略相關的內容，甚至不認為這是網站的內容。

　　但是meta robots 的應用，可以使搜尋引擎先進行”檢查”也仍然會將內容視為網站的一部份，但不要收藏提供使用者搜尋，所以這部分差異也會引響網站的總體完整性，因此在非必要的情況下，并不建議使用Robots.txt的使用，而是推薦meta robots 的使用。