实例浅谈在robots文件上我们容易出现的三点细节上的错误

埋葬这份爱

     　　Robots.txt文件看似只要几行字母，但是其实有很多细节需求我们留心的。由于假设你不留心这些细节，有的语句将不会体现效果，乃至出现发效果。而robots.txtt文件是搜索引擎进入我们站点后拜访的第一个文件，其写的好不好关系到站点的搜索引擎优化能否顺利进行。下面笔者将举例剖析三个在robots.txt文件时我们广州桑拿网 简略出现的细节上的差错。
        　　差错一：Allow与disallow次序倒置
        　　首要我们来看一段robots.txt语句：
        　　User-agent: *
        　　Allow: /
        　　Disallow: /abcd/
        　　这段语句初看我们可以得到目的是告诉搜索引擎在abcd目录下面的页面不能抓取，但是其他全部的页面可以。但是这段语句的实践效果怎么呢?效果是各走各路的，为何呢?我们知道搜索引擎蜘蛛对于robots文件中的规矩的实行是从上到下的。这将会构成Disallow语句失效，准确的做法，是要把Disallow: /abcd/置于Allow: /前才华体现我们想要的效果。
        　　差错二：屏蔽某一个页面时，页面名前没有带上斜杠“/”
        　　我想这一点很多站长也很简略疏忽掉，打个比如，我们想要对搜索引擎屏蔽在根目录下的abcd.html这一页面，有的人在robots上或许会这么写：Disallow: abcd.html，表面上看或许没啥疑问，但是笔者想要问一下你先奉告搜搜引擎屏蔽的这一页面在啥目录下面?假设我们不带上的话，搜索引擎蜘蛛无法识别是在哪一个页面。准确的写法是：Disallow: /abcd.html，这么才华实在的屏蔽坐落根目录下面的abcd.html这一页面。
        　　差错三：屏蔽的后边没有跟上斜杠“/”
        　　一样举个比如，比如我们想屏蔽/abcd/这一目录下面的页面，有的人或许会这么写Disallow: /abcd。这么写是不是有疑问呢?这么写仍然有疑问，而且疑问很大条。http://www.zaosn.com这么虽然可以屏蔽掉/abcd/这一目录下面的全部页面。但是这也会传递给搜索引擎这么的信息，那就是屏蔽最初为/abcd的全部页面。