首页 新闻 搜索 专区 学院

关于asp.net开发页面搜索引擎爬行问题

0
悬赏园豆:10 [待解决问题]
http://www.tcc168.com/Sell(为什么这些车所有页,都爬行404)
如:http://www.tcc168.com/Car-678/
2011-06-15 07:48:45 W3SVC831464510 61.152.175.11 GET /Car-678/ - 80 - 123.125.71.15 Mozilla/5.0+(compatible;+Baiduspider/2.0;++http://www.baidu.com/search/spider.html) 404 0 64

网站的某些栏目是正常爬行的,例如新闻资讯。
编程入门的主页 编程入门 | 初学一级 | 园豆:185
提问于:2011-06-16 21:49
< >
分享
所有回答(2)
0

是否有HTTP头信息的不同,使用FireBUG看看发的网络包和浏览器一样吗?

如果都一样,估计对方的网站对爬虫有限制

2012 | 园豆:21056 (高人七级) | 2011-06-17 17:50
0

这应该是网站程序的问题(或者一种设计方式)。

程序是你写的么?

估计逻辑是:在数据库中查找不到数据,就返回404。这样做也是可以的。但最好再定义一个404的错误页面就更友好了

自由飞 | 园豆:174 (初学一级) | 2011-06-21 22:48
这个应该跟重写规则有关系,我正在找原因
支持(0) 反对(0) 编程入门 | 园豆:185 (初学一级) | 2011-06-22 10:57
清除回答草稿
   您需要登录以后才能回答,未注册用户请先注册