首页新闻找找看学习计划

百度蜘蛛 大量抓取 /ajax/user.ashx文件 怎么办?

0
[待解决问题]

百度蜘蛛 大量抓取 /ajax/user.ashx文件 怎么办?

 

我已经配置了robots.txt

qq5640的主页 qq5640 | 菜鸟二级 | 园豆:202
提问于:2015-02-09 12:10
< >
分享
所有回答(5)
0

robots.txt设置有没有问题呀

秋壶冰月 | 园豆:5443 (大侠五级) | 2015-02-09 12:11

应该没有问题了啊:

User-agent: *
Disallow: /ajax

支持(0) 反对(0) qq5640 | 园豆:202 (菜鸟二级) | 2015-02-09 12:13

@qq5640: 你用百度站长平台http://zhanzhang.baidu.com/  检测一下

支持(0) 反对(0) 秋壶冰月 | 园豆:5443 (大侠五级) | 2015-02-09 12:16
0

1. 比较惨的……已经被收录了吗?  

2. 你robots.txt的屏蔽是后来才补上去的吗?

3. 百度对robots响应很慢你造吗?

4. robots.txt你以为它真的会遵守吗? 百度是个垃圾你造吗? 被禁了的也会常来爬你造吗?

一般你屏蔽了, 等个半年, 搜索结果里就没了。 PS:亲测~

问天何必 | 园豆:3291 (老鸟四级) | 2015-02-09 13:05
0

用HttpContext.Current.Request.UrlReferrer写个过滤器做检测,踢掉搜索引擎爬虫访问。收录了?那就不知道了

Cherbim | 园豆:318 (菜鸟二级) | 2015-02-09 14:00
0

if request["user-agent"]="baidu spider"

response.end

ayiis | 园豆:356 (菜鸟二级) | 2015-02-09 19:47
0

学习下。

DZCMS | 园豆:3 (初学一级) | 2015-02-26 16:06
清除回答草稿
   您需要登录以后才能回答,未注册用户请先注册