经典重庆

标题: 证据表明百度蜘蛛可以爬行纯文本网址 [打印本页]

作者: 埋葬这份爱 时间: 2016-1-29 12:32
标题: 证据表明百度蜘蛛可以爬行纯文本网址
      　　好久之前我写过文本格式的网址对网站的权重有优点，http://www.danshuisauna.com今日我总算发现了纯文本网址能够吸引baidu蜘蛛的依据。
      　　咱们知道baidu站长渠道现已对站长开放了，其中有许多有用的功用，包括提交网站地图、提交死连接、查看robots等等。其中有一项功用咱们也许没有太留意，那就是站点抓取异常查询。
      　　有时分咱们的网站收录或许别的方面呈现异常了，这时分还得剖析网站日志等，查找因素。而这个东西能够直接查到，baidu在抓取你的网站的时分呈现了哪些过错，便利找到因素。
      　　我今日查看的时分发现了有一个404抓取过错，本来抓取的是/1227.html 但是后边多了个“>”，理论上不会呈现这种连接过错啊。
      　　
      　　通过查找发现，有网站在转发文章的时分，呈现了如上图的网址，而且是纯文本的网址：
      　　
      　　baidu由于抓取到了上面的网址，并把>也作为网址的一部分，并进行抓取，天然就呈现了404过错。
      　　从这个比如就能够知道，baidu是能够抓取纯文本的网址的，淡水桑拿按摩网这对广阔SEO工作者和互联网从业人员是个好消息。

欢迎光临经典重庆 (http://bbs.jdcq.net/)