首页 新闻 搜索 专区 学院

scrapy中dont_filter=True

0
悬赏园豆:10 [已关闭问题] 关闭于 2018-03-16 09:33

利用scrapy爬取某网站全站,必须得在每个

scrapy.Request()里加dont_filter=True这个参数,爬虫才会正常运行,爬到数据。
如果不加程序刚运行就会结束,也不报错,这是什么问题。求大神解决。
如果加上爬出了数据重复的特别多,怎么解决呀,之前没出过这种问题。
陆无为的主页 陆无为 | 初学一级 | 园豆:66
提问于:2018-03-15 18:46
< >
分享
清除回答草稿
   您需要登录以后才能回答,未注册用户请先注册