旅海燕网 - 旅游攻略,旅游景点大全。

旅海燕网

当前位置: 旅海燕网 > 个人博客 > 网络电脑 >

为什么百度和google谷歌蜘蛛会抓取不存在的目录和不存在的内容

时间:2013-03-06 23:32来源:本站原创 作者:旅海燕网 点击:
为什么百度和google谷歌蜘蛛会抓取不存在的目录和不存在的内容?观察过百度和google蜘蛛抓取的人可能会发现这个问题,特别是刚建立的网站,这到底是怎么回事呢?
为什么百度和google谷歌蜘蛛会抓取不存在的目录和不存在的内容?会给你一堆404提示。观察过百度和google蜘蛛抓取的人可能会发现这个问题,特别是刚建立的网站,这到底是怎么回事呢?

这种情况,多发生在刚刚建立的新站,过一段等robots被抓取生效后就可以了。
老站的话,多是文件发生变化的结果,慢慢就好了。
如果一直有这种情况,就把蜘蛛一直抓地不存在的目录和文件写入robots吧。



文章来自旅海燕网www.lvhaiyan.com,转载请以链接形式标明原文地址 。
原文链接:http://www.lvhaiyan.com/mysel/wldn/51.html (责任编辑:旅海燕网)
顶一下
(0)
0%
踩一下
(0)
0%
分享按钮
------分隔线----------------------------
发表评论
请自觉遵守互联网相关的政策法规,严禁发布色情、暴力、反动的言论。
评价:
验证码: 点击我更换图片
栏目列表
推荐内容