Robots META标签针对具体的页面
作者：李雪英
日期：2013/4/3 9:23:05
＜META NAME=“ROBOTS” CONTENT=“INDEX,FOLLOW”＞
vname=”Robots”表示所有的搜索引擎，可以针对某个具体搜索引擎写为name=”BaiduSpider”。
vINDEX 指令告诉搜索机器人抓取该页面；
vFOLLOW 指令搜索机器人可以沿着该页面上的链接继续抓取下去；
vRobots Meta标签的缺省值是INDEX和FOLLOW
共有四种组合：
＜META NAME="ROBOTS" CONTENT="INDEX,FOLLOW"＞
＜META NAME="ROBOTS" CONTENT="NOINDEX,FOLLOW"＞
＜META NAME="ROBOTS" CONTENT="INDEX,NOFOLLOW"＞
＜META NAME="ROBOTS" CONTENT="NOINDEX,NOFOLLOW"＞
＜META NAME="ROBOTS" CONTENT="NOINDEX,FOLLOW"＞
＜META NAME="ROBOTS" CONTENT="INDEX,NOFOLLOW"＞
＜META NAME="ROBOTS" CONTENT="NOINDEX,NOFOLLOW"＞
v优点
§可以制止不必要的搜索引擎占用服务器的带宽
§可以制止搜索引擎对非公开页面的爬行与索引
§避免网站中的重复内容被收录
v缺点
§给攻击者指明了网站的目录结构和私密数据所在的位置
§不要写错
分享
QQ空间
豆瓣网能力秀动态
■为期9年共举办18期的大学生网络营销能力秀活动已圆满结束（2009-2018）。能力秀——网络营销开始的地方！祝所有秀友前程似锦！向所有网络营销老师、所有支持能力秀活动的人员和机构、所有为能力秀活动付出辛勤努力的工作人员们表示衷心的感谢并致以崇高的敬意！