躲避爬虫的RONOTS.txt 文件
作者：徐境海
日期：2010/5/28 13:21:11
一个robots.txt文件可以告诉搜索引擎你网站的哪些部分允许它去抓取。而这个文件不旦必须命名成”robots.txt”,还得放在你网站的根目录上。
你也许并不希望你网站的一些页面被抓取到，因为如果它们出现在搜索结果里对用户可能是没多大意义的。如果你想阻止搜索引擎爬取你的网页，Google网站管理员工具有一个很好用的robots.txt生成器来帮助你创建这个文件。另外如果你希望子域名里的一些内容不被爬取，你需要在子域名的目录下再新建一个robots.txt文件。
分享
QQ空间
豆瓣网能力秀动态
■为期9年共举办18期的大学生网络营销能力秀活动已圆满结束（2009-2018）。能力秀——网络营销开始的地方！祝所有秀友前程似锦！向所有网络营销老师、所有支持能力秀活动的人员和机构、所有为能力秀活动付出辛勤努力的工作人员们表示衷心的感谢并致以崇高的敬意！