百度老收录不存在的二级域名

悬赏园豆：20 [已解决问题] 解决于 2014-01-20 09:58

最近site一下自己的站，发现自己的网站被百度收录了不少不存在的二级域名。我们的网站是一个行业网站，会为每个注册企业生成一个二级站点。但当用户访问不存在的商家时，程序会主动跳转到一个404页面去。

不知道园子里的朋友是否也遇到过这样的问题，是如何解决的呢？先谢谢啦！

web前端 .net技术 asp.net

rat3 | 初学一级 | 园豆：89
提问于：2013-12-27 10:05

< >

最佳答案

有个终极解决办法，针对这些二级域名用robots.txt拒绝百度的收录

在程序中让“http://二级域名/robots.txt”返回拒绝百度收录的设置。

收获园豆：20

dudu | 高人七级 |园豆：30757 | 2013-12-27 10:20

Dudu 您的意思是说，在动态生成的企业网站中的根目录下的Root文件里设置成拒绝百度收录？

rat3 | 园豆：89 (初学一级) | 2013-12-27 11:44

@rat3: 对不存在的商家的二级域名返回拒绝百度收录的robots

dudu | 园豆：30757 (高人七级) | 2013-12-27 11:45

@dudu: 明白了！谢谢Dudu

rat3 | 园豆：89 (初学一级) | 2013-12-27 13:54

其他回答(1)

百度蜘蛛按URl来爬取页面，你提供了URL它肯定会爬取，要么就是在robots 协议中禁止它爬取，另外及时清除失效的Url，但是蜘蛛的爬取是有周期的，不会及时更新它爬取的URL

Zery | 园豆：6151 (大侠五级) | 2013-12-27 10:42

清除回答草稿

您需要登录以后才能回答，未注册用户请先注册。

欢迎，请先 登录 或者 注册 。