利用scrapy爬取某网站全站，必须得在每个
scrapy.Request（）里加dont_filter=True这个参数，爬虫才会正常运行，爬到数据。如果不加程序刚运行就会结束，也不报错，这是什么问题。求大神解决。如果加上爬出了数据重复的特别多，怎么解决呀，之前没出过这种问题。
