首页 新闻 会员 周边 捐助

网站日志异常增大，与百度有关

0
悬赏园豆：50 [已关闭问题] 关闭于 2010-05-31 17:43

网站中有一重定向页面，在某些情况下先进入重定向页面做某些处理，再返回原来页面，但在日志中却发现重复爬取的重定向页面信息，已经在robots.txt中禁止访问重定向页面，但有一带baidu+Transcoder标识的爬虫却反复爬取，导致日志文件非常大，请问大家有什么好的方法。

冷于冰的主页 冷于冰 | 初学一级 | 园豆：0
提问于：2010-05-19 10:47
< >
分享
所有回答(2)
0

想访问原来的页面是不是必须经过重定向页面？

Astar | 园豆：40805 (高人七级) | 2010-05-19 11:45
在cookie保存值后不必重定向
支持(0) 反对(0) 冷于冰 | 园豆：0 (初学一级) | 2010-05-20 10:41
0

1、确认你的robots.txt文件的语法正确。
# robots.txt for http://www.bmshops.com/
#
# $Id: robots.txt,v 1.59 2010/04/25 15:52:50 $
#

# exclude some access-controlled areas
User-agent: *
Disallow: /重定向页面

2、屏蔽baidu+Transcoder标识的爬虫的ip对网站的访问

上不了岸的鱼 | 园豆：4613 (老鸟四级) | 2010-05-19 13:34
1、robots格式没错，百度一般的爬虫已经不访问了，但是baidu+Transcoder标志的一直访问， 2、屏蔽ip会不会对收录有影响
支持(0) 反对(0) 冷于冰 | 园豆：0 (初学一级) | 2010-05-20 10:44
清除回答草稿
   您需要登录以后才能回答，未注册用户请先注册。