百度蜘蛛 大量抓取 /ajax/user.ashx文件 怎么办？
0
所有回答(5)
0
robots.txt设置有没有问题呀
应该没有问题了啊：
User-agent: *
Disallow: /ajax
@qq5640: 你用百度站长平台http://zhanzhang.baidu.com/ 检测一下
0
1. 比较惨的……已经被收录了吗？
2. 你robots.txt的屏蔽是后来才补上去的吗？
3. 百度对robots响应很慢你造吗？
4. robots.txt你以为它真的会遵守吗？ 百度是个垃圾你造吗？ 被禁了的也会常来爬你造吗？
一般你屏蔽了， 等个半年， 搜索结果里就没了。 PS:亲测~
0
用HttpContext.Current.Request.UrlReferrer写个过滤器做检测，踢掉搜索引擎爬虫访问。收录了？那就不知道了
0
if request["user-agent"]="baidu spider"
response.end
0
学习下。
