我是尚丹丹,我的博客建好啦!欢迎大家光临!

robots.txt—网络爬虫排除标准

SEO sdd 335℃ 0评论

网站做好了,先放在测试地址上面,给客户测试,以及添加数据。

等没问题后,绑定正式域名,测试地址就删除了。

可是遇见过几次,如下图的情况。百度搜索到的还是测试地址,测试地址已经没有了,自然是打不开了。

解决办法是,在测试地址加上robots.txt,禁止搜索引擎搜索到,等绑定正式域名时候,在删除服务器的此文件

(不知道什么效果,先处理了,过几天看看效果)

13

 

 

http://zhangjunseo.com/76.html

转载请注明:尚丹丹的博客 » robots.txt—网络爬虫排除标准

喜欢 (0)
发表我的评论
取消评论
表情

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址
(1)个小伙伴在吐槽
  1. 据我所知像百度那样的流氓网站一般不会遵守这个 robots.txt 定的规则,它是抓全部内容,再决定要不要依照 robots.txt 来显示,因为它有任务监听网络上所有的内容。
    Yanbin2017-02-22 16:22 回复