经典重庆

标题: 如何解决Google网站管理员工具的抓取错误 [打印本页]

作者: 埋葬这份爱 时间: 2016-1-17 15:41
标题: 如何解决Google网站管理员工具的抓取错误
   　　“抓取过错”是 Google网站管理员东西(Webmaster Tools)中最受欢迎的东西之一。它能够协助你查看过错的连接，不只是是URL连接，还包行DNS解析失利、服务器连接、robots.txt 文件等疑问，简直一切网站都会呈现抓取过错。
            　　网站站长东西将过错分为两类：网站过错(site errors)和连接地址过错(URL errors)。假如在一个网站上呈现多个抓取过错，那么你的网站信赖度会降低，甚至会影响到排名，当然这东西关于baidu优化相同有用。那么应当怎么处理 Google网站管理员东西的抓取过错呢。
            　　
            　　经过Googlebot抓取的过错分类就看知道是啥致使抓取过错的要素了。
            　　一、HTTP的过错
            　　当一个网站上的页面(例如，当用户在浏览器中拜访您的页面或Googlebot抓取页面时)到您的服务器宣布恳求，服务器回来HTTP状况码呼应恳求。
            　　假如呈现403状况，能够不必答理，这表明是你的主机阻挠了Googlebot抓取。关于一切HTTP状况码的列表文件，能够参阅Google HTTP状况码协助页面。
            　　二、Sitemap中的过错
            　　Sitemap过错往往会形成404过错页面，或在当时地图回来一个404过错页面，假如呈现404过错页面请查看Sitemap中一切的连接，
            　　Google会不断抓取你现已删去的Sitemap，这点很抑郁，但也有方法处理：保证旧的Sitemap现已在管理员东西中被删去。假如不想被抓取，保证旧Sitemap呈现404或者从头定向到新的Sitemap。
            　　来自Google职工Susan Moskwa解释道：
            　　阻挠Googlebot的匍匐，最佳的方法是使这些网址(例如旧的sitemaps)呈现404，当我们看到一个URL屡次呈现404后，Googlebot会停止匍匐。
            　　三、重定向过错
            　　有些过错是由于301从定向导致的，履行重定向后要注意啥：
            　　1：保证他们回来到正确的HTTP状况码。
            　　2：保证没有任何循环重定向。
            　　3：保证重定向指向有用的页面，而不是404页，或别的过错页，如503(服务器过错)或403(制止抓取)
            　　4：保证重定向不是指向一个空页面。
            　　四、404过错
            　　404过错可能会呈现在以下几个方面：
            　　1：删去了网站上的页面;
            　　2：改变了页面的称号;
            　　4：连接到了一个不存在的页面;
            　　5：别的网站连接到你网站上一个不存在的页面;
            　　6：网站迁移到一个新的域名不彻底匹配的网站。
            　　五、受robots.txt约束
            　　还有一个要素是robots.txt文件阻挠了Googlebot的抓取， http://www.shenzhensangna.net假如呈现很多抓取过错，第一步应当查看robots.txt
            　　六、软404过错
            　　通常情况下，当有人恳求的页面不存在，服务器将回来一个404(未找到)过错。除了在呼应恳求的页面不存在回来404代码，服务器也将显现一个404页。这可能是一个规范的“未找到文件”的消息，或旨在**更多信息的用户，它可能是一个自定义页面。页的内容是由服务器回来的HTTP呼应彻底无关。只是由于一个页面显现404文件未找到消息并不意味着它是一个404页。
            　　
            　　七、超时
            　　网站超时也是呈现抓取过错的要素之一，深圳桑拿按摩论坛假如呈现超时景象，Googlebot会停止抓取。超时的过错类型有：
            　　1：DNS超时，能够运用Nslookup 指令检查DNS，呈现DNS超时最大的要素是域名服务商的DNS服务器不稳定。
            　　2：网址超时，在某一个特定页面，而不是整个域的过错。
            　　3：robots.txt超时，假如你网站有robots.txt，但服务器超时，Googlebot会假定该文件不存在。
            　　4：**页的呼应时刻过长而形成页面载入时刻过长。

欢迎光临经典重庆 (http://bbs.jdcq.net/)