关于asp.net开发页面搜索引擎爬行问题
0
悬赏园豆：10
[待解决问题]
http://www.tcc168.com/Sell(为什么这些车所有页,都爬行404)
如：http://www.tcc168.com/Car-678/
2011-06-15 07:48:45 W3SVC831464510 61.152.175.11 GET /Car-678/ - 80 - 123.125.71.15 Mozilla/5.0+(compatible;+Baiduspider/2.0;++http://www.baidu.com/search/spider.html) 404 0 64
网站的某些栏目是正常爬行的，例如新闻资讯。
如：http://www.tcc168.com/Car-678/
2011-06-15 07:48:45 W3SVC831464510 61.152.175.11 GET /Car-678/ - 80 - 123.125.71.15 Mozilla/5.0+(compatible;+Baiduspider/2.0;++http://www.baidu.com/search/spider.html) 404 0 64
网站的某些栏目是正常爬行的，例如新闻资讯。
所有回答(2)
0
是否有HTTP头信息的不同，使用FireBUG看看发的网络包和浏览器一样吗？
如果都一样，估计对方的网站对爬虫有限制
0
这应该是网站程序的问题（或者一种设计方式）。
程序是你写的么？
估计逻辑是：在数据库中查找不到数据，就返回404。这样做也是可以的。但最好再定义一个404的错误页面就更友好了
这个应该跟重写规则有关系，我正在找原因
