首页 新闻 会员 周边

scrapy Rule如何解析json格式的链接?

0
[待解决问题]
rules = {
    'sina':(
        Rule(LinkExtractor(allow='/\d+-\d+-\d+\/.*?-.*?.shtml', deny=('http://search.sina.com.cn/.*?')),
             callback='parse_item', follow=True),
        )
}

如上,目的是从目标页面解析出符合条件的链接
目标页面示例:https://feed.sina.com.cn/api/roll/get?pageid=121&lid=1356&num=20&versionNumber=1.2.4&page=1&encode=utf-8&callback=feedCardJsonpCallback&_=1545017197742

试了很多正则的方法,都匹配不出来"urls":"[\"https:\\\/\\\/news.sina.com.cn\\\/o\\\/2018-12-18\\\/doc-ihqhqcir7816653.shtml\"]"这里面的链接,正则表达式测试过没问题,但是在scrapy 的Rule里就不行

会发光的主页 会发光 | 菜鸟二级 | 园豆:258
提问于:2018-12-18 10:41
< >
分享
所有回答(1)
0
ycyzharry | 园豆:25651 (高人七级) | 2018-12-18 10:59

另写一个方法专门处理json文件,然后再在Rule里调用吗?

支持(0) 反对(0) 会发光 | 园豆:258 (菜鸟二级) | 2018-12-18 11:02

但是按理说,正则应该也能匹配到啊,哪怕是json格式的

支持(0) 反对(0) 会发光 | 园豆:258 (菜鸟二级) | 2018-12-18 11:04
清除回答草稿
   您需要登录以后才能回答,未注册用户请先注册