搜索引擎蜘蛛爬取的策略

第一、非完全pagerank策略
PageRank是一种著名的链接分析算法，可以用来衡量网页的重要性。很自然地，可以想到用PageRank的思想来对URL优化级进行排序，PageRank是个全局性算法，也就是说当所有网页下载完成后，其计算结果才是可靠的，而爬虫的目的就是去下载网页，在运行过程中只能看到一部分页面，所以在爬取阶段的网页是无法获得可靠的PageRank得分的。
第二、大站优化策略
大部优化策略思路很直接：以网站为单位来选题网页重要性，对于待爬取URL队列中的网页根据所属网站归类，如果哪个网站等待下载的页面最多，则优化先下载这些链接，其本质思想倾向于优先下载大型网站。因为大型网站往往包含更多的页面。
第三、网页更新策略
互联网的动态是其显著特征，随时都有新出现的页面，页面的内容被更改或者本来存在的页面删除。对于爬虫来说，并非将网页抓取到本地就算完成任务，也要体现出互联网这种动态性。本地下载的网页可被看做是互联网页的镜像，爬虫要尽可能保证其一致性。