导读：尾先我们要理解甚么是robots文件，好比，正在缓公允SEO专客的尾页网址前面参加“/robots.txt”，便可翻开该网站的robots文件，如图所示，文件里显现的内容是要报告搜刮引擎哪些网页期望被抓与，哪些没有期望被抓与。果为网站中有一些可有可无的网页，如“给我留行”或“联络方法”等网页，他们其实不到场SEO排名，只是为了给用户看，此时能够操纵robots文件把他们屏障，即报告搜刮引擎没有要抓与该页里。

蜘蛛抓与网页的精神是有限的，即它每次去抓与网站，没有会把网站一切文章、一切页里一次性局部抓与，特别是当网站的内容愈来愈多时，它每次只能抓与一部门。那么如何让他正在有限的工夫战精神下每次抓与更多期望被抓来的内容，从而进步服从呢?

那个时分我们便该当操纵robots文件。小型网站出有该文件无所谓，但关于中年夜型网站去道，robots文件尤其主要，果为那些网站数据库十分宏大，蜘蛛去时，要像看待好伴侣一样给它看最主要的工具，果为那个伴侣精神有限，每次去皆不克不及把一切的工具看一遍，以是便需求robots文件屏障一些可有可无的工具。因为各种本果，某些文件没有念被搜刮引擎抓与，如处于隐公庇护的内容，也能够用robots文件把搜刮引擎屏障。

固然，有些人会问，假如robots文件出用好或堕落了，会影响全部网站的支录，那为何借有那个文件呢?那句话中的“堕落了”是指将不应屏障的网址屏障了，招致蜘蛛不克不及抓与那些页里，那样搜刮引擎便没有会支录他们，那何道排名呢?以是robots问价的格局必然要准确。上面我们一同去理解robots文件的用法：

1.“user-agent：*disallow：/”暗示“制止一切搜刮引擎会见网站的任何部门”，那相称于该网站正在搜刮引擎里出有记载，也便道没有上排名。

2.“user-agent：*disallow：”暗示“许可一切的robots会见”，即许可蜘蛛随便抓与并支录该网站。那里需求留意，前两条语法之间只相好一个“/”。

3.“user-agent：badbot disallow：/”暗示“制止某个搜刮引擎的会见”。

4.“user-agent：百度spider disallow：user-agent：*disallow：/”暗示“许可某个搜刮引擎的会见”。那内里的“百度spider”是百度蜘蛛的称号，那条语法便是许可百度抓与该网站，而没有许可其他搜刮引擎抓与。

道了那么多，我们去举个例子，某个网站从前是做人材雇用的，如今要做汽车止业的，以是网站的内容要局部改换。删除有闭职场资讯的文章，那样便会呈现年夜量404页里、许多死链接，而那些链接从前曾经被百度支录，但网站改换后蜘蛛再过去发明那些页里皆没有存正在了，那便会留下很欠好的印象。此时能够操纵robots文件把死链接局部屏障，没有让百度会见那些已没有存正在的页里便可。

最初我们去看看利用robots文件该当留意甚么?尾先，正在没有肯定文件格局怎样写之前，能够先新建一个文本文档，留意robots文件名必需是robots.txt，厥后缀是txt而且是小写的，不成以随意变动，不然搜刮引擎辨认没有了。然后翻开该文件，能够间接复造粘揭他人的格局，

Robots文件格局是一条号令一止，下一条号令必需换止。借有，“disallow： ”前面必需有一个空格，那是标准写法。