2.8.3 robots meta标签的写法

robots meta标签中没有大小写之分，name="robots"表示所有的搜索引擎，可以针对某个具体搜索引擎写为name="baiduspider"。content部分有四个指令选项：index、noindex、follow、nofollow，指令间以“,”分隔。

index指令告诉蜘蛛抓取该页面；

noindex是谷歌发明的一个HTML标签，其作用是向搜索引擎声明该网页禁止被索引收录。

follow指令表示蜘蛛可以沿着该页面上的链接继续抓取下去。

nofollow的作用是告诉搜索引擎不要追踪此网页上的链接或不要追踪此特定链接。

robots meta标签的默认值是index和follow，只有inktomi（早期出现的搜索引擎）除外，对于它，默认值是index和nofollow。

robots meta标签有下面两种组合：

     <meta name= "robots" content="index,follow">
     <meta name="robots" content="noindex,follow">

其中，

     <meta name="robots" content="index,follow">

可以写成：

     <meta name="robots" content ="all">;

而

     <meta name="robots" content="noindex,follow">

可以写成：

     <meta name="robots" content="none">

绝大多数的搜索引擎机器人都遵守robots.txt的规则，对于robots meta标签来说也是一样，且在逐渐增加当中，如谷歌就完全支持。而且谷歌还增加了指令archive和noarchive，可以限制是否保留网页快照，例如：

     <meta name="googlebot"content="index,follow,noarchive">