什么是robots协议

robots协议是一个网站与搜索引擎之间的协议，不过这个协议不是互相盖章签订的，而是约定俗成的一个协议。通过robots协议（其实就是个txt格式文本文件）告诉各个搜索引擎蜘蛛，它们在你应网站上的访问权限。哪些可以访问，哪些不可以访问。

robots文件通常放在网站根目录下，是搜索引擎蜘蛛访问网站时，第一个检查访问的文件。如果站点设置了robots协议文件，一般正常的搜索引擎蜘蛛都会按照协议来确定访问的范围。但是一些小的不主流的流氓搜索引擎就有可能不会遵守了。如果站点没有robots协议文件，那么就意味着所有搜索引擎蜘蛛都能访问你的网站页面内容。 因此，基于robots协议的特殊，在SEO优化中会常常用到这个协议，后续会对robots协议的写法和具体使用命令、注意要点详细介绍。这里主要讲下什么是robots协议。