robots是网站跟蜘蛛间的协议，当访问站点时，它首先检查机器人是否存在于站点的根目录中。如果找到，蜘蛛就会按照该文件中的内容来确定访问的范围,如果该文件不存在,那么搜索机器人就沿着链接抓取。一定要注意txt文件必须放在站点的根目录中，文件名必须为小写。   robots.txt是一个纯文本文件，在这个文件中网站管理者可以声明该网站中不想被搜索引擎访问的部分，或者指定搜索引擎只收录指定的内容。因此，机器人的优化将直接影响到搜索引擎对站点的收录。   只有在需要禁止抓取某些内容时，才写robots。一些服务器设置是问题：当机器人文件不存在时，它返回200个状态代码和一些错误消息，而不是404页面，这是因为搜索机器人误读了robots文件信息。       robots mate是什么   robots meta标签主要是针对一个个具体的页面。和其他的META标签(如使用的语言、页面的描述、关键词等)一样， robots meta标签也是放在页面的head>中，专门用来告诉搜索引擎机器人如何抓取该页的内容。       follow指令表示搜索机器人可以沿着该页面上的链接继续抓取下去；   robots meta标签的缺省值是index和follow；   index指令告诉搜索机器人抓取该页面；   robots meta标签中没有大小写之分，name=“robots”表示所有的搜索引擎，可以针对某个具体搜索引擎写为name=“ baiduspider' content部分有四个指令选项index、noindex、follow、nofollow，指令间以“，”分隔。       Robots和robots mate的区别   目前来说，所有的搜索引擎都支持和遵守robots.txt的规定，但是支持robots mate的却比较少，大家可以酌情使用。