首页 新闻 会员 周边 捐助

crawlspider中deny的设置无效?

0
悬赏园豆:20 [已关闭问题] 关闭于 2019-03-19 11:11

在Rule中设置了deny,但是并未生效:

代码如下:

'123123':(
        Rule(LinkExtractor(allow='\d+-\d+-\d+/.*?-.*?.shtml', deny=('http://search.******.com.cn/.*?')),
         callback='parse_item', follow=True),
        Rule(LinkExtractor(allow='a[href^="http"]',deny_domains=('http://auto.******.com.cn')), follow=True)
        )

运行的时候还是有debug是禁止的链接:

会发光的主页 会发光 | 菜鸟二级 | 园豆:258
提问于:2019-01-02 10:06
< >
分享
清除回答草稿
   您需要登录以后才能回答,未注册用户请先注册