搜索引擎的基本知识

在SEO中，蜘蛛、机器人和爬虫大体上讲的是同一种东西，但是别过分担忧--它们没有脚和触角。所以，让我们统一用“爬虫（crawler)“这个词来称呼它们。请牢记，有时你需要吸引这些机器人，或者把你的网站伪装成”蜘蛛诱饵“。这都属于同一个原则。

那么，什么是爬虫，为什么我们要把它请到我们的网站上来呢。

爬虫是一种程序，或者是一段自动化的脚本（经常被称为bot,即rebot的缩写），它在网上不停辛勤奔跑到各个URL上去。爬虫通过它们所浏览的网页上面的链接从一个URL爬到另一个URL。

有些爬虫获取页面上全部的内容，而有些可能只是对其中的某些部分感兴趣。

创建sitemap对于那些提供不容易被直接浏览器到的信息的网站来说十分有用。