Robots文件是针对搜索引擎蜘蛛的协议文件，通过设置Robots语法可以禁止或允许指定搜索引擎抓取网站的页面或者目录，这个文件直接放在网站根目录即可，如没有Robots.txt文件则表示无任何例外，搜索引擎将抓取网站的所有目录和页面；

Robots文件的语法这就不多介绍，不明白的可以去百度一下有很多说明，Robots中有个语法Sitemap: http://*/sitemap.xml，就是让搜索引擎可以去按照你提交的网站地图进行抓取，只要你的网站有生成sitemap.xml地图文件，不需要在Robots文件中添加这个，那么这个语法在什么时候适用，当你的网站在被百度K站的时候，当你的网站在百度收录的页面非常少的时候，可以试试在Robots文件中增加sitemap的索引，蓝叶试过确实有些效果，如你的网站收录正常，每天的数据更新量的话就别在Robots文件中添加sitemap的索引，那样会导致你的文章收录过慢和降权；在国内适用百度的网友占很大一部分，很多如我们一样的小站长就是靠百度来点流量，但百度往往不是很喜欢我们，收录过少有时候还被K站，于是乎站长们到处想办法在让百度收录更多的页面，在使了很多方法后无效果，你可以试试在Robots中添加sitemap的索引，此文只是自己的流水账并非什么技术文章，如你觉得有用就顶一下。