首页新闻找找看学习计划

百度老收录不存在的二级域名

0
悬赏园豆:20 [已解决问题] 解决于 2014-01-20 09:58

    最近site一下自己的站,发现自己的网站被百度收录了不少不存在的二级域名。我们的网站是一个行业网站,会为每个注册企业生成一个二级站点。但当用户访问不存在的商家时,程序会主动跳转到一个404页面去。

   不知道园子里的朋友是否也遇到过这样的问题,是如何解决的呢? 先谢谢啦!

rat3的主页 rat3 | 初学一级 | 园豆:89
提问于:2013-12-27 10:05
< >
分享
最佳答案
0

有个终极解决办法,针对这些二级域名用robots.txt拒绝百度的收录

在程序中让“http://二级域名/robots.txt”返回拒绝百度收录的设置。

收获园豆:20
dudu | 高人七级 |园豆:39065 | 2013-12-27 10:20

Dudu 您的意思是说,在动态生成的企业网站中的根目录下的Root文件里设置成拒绝百度收录?

rat3 | 园豆:89 (初学一级) | 2013-12-27 11:44

@rat3: 对不存在的商家的二级域名返回拒绝百度收录的robots

dudu | 园豆:39065 (高人七级) | 2013-12-27 11:45

@dudu: 明白了! 谢谢Dudu

rat3 | 园豆:89 (初学一级) | 2013-12-27 13:54
其他回答(1)
0

百度蜘蛛按URl来爬取页面,你提供了URL它肯定会爬取,要么就是在robots  协议中禁止它爬取,另外及时清除失效的Url,但是蜘蛛的爬取是有周期的,不会及时更新它爬取的URL

Zery | 园豆:6069 (大侠五级) | 2013-12-27 10:42
清除回答草稿
   您需要登录以后才能回答,未注册用户请先注册