首页 新闻 会员 周边 捐助

Scrapy ItemLoader 的疑问,多条数据合并存储了

0
[已关闭问题] 关闭于 2019-05-14 16:40

标题没起好,确实想不来怎么形容...
news_info里有多个news。
news的数据:`['https://www.xxxx.com.cn/news/...', 'xxx学会为自己“找乐子”', 'xx汽车', '2小时前', '功能更加丰富便
捷。...每天挖掘一条车机智能语音的潜能,400多种语料用车环境足够我们将爱车撩上一年有余!欧洲那套“座驾即工具...或许会让你堵车的时刻心情也能保持轻松悠然。']` 是一个list。

news_info通过for循环之后,添加ItemLoader:

item_loader.add_value('url', str(news[0]))
item_loader.add_value('title', str(news[1]))
item_loader.add_value('source', str(news[2]))
item_loader.add_value('time', str(news[3]))
item_loader.add_value('content', str(news[4]))
item_loader.add_value('ca', self.json_config.get('ca'))
item_loader.add_value('web', self.web)
item_loader.add_value('sy', 0)
item_loader.add_value("webs", self.json_config.get('webs'))
item_loader.add_value('crawl', str(crawl))
item_loader.add_value('task', self.task)
yield baidu_item_loader.load_item()

讲道理数据一条一条的保存应该没啥问题...但是实际上在数据保存时,数据被合并了。
保存到数据库的结果:

按理说应该是每一个存一条的...
如果直接使用scrapy的item,就不会有这种问题。
哪里有描述不清楚或者需要增加代码的,我再加。

会发光的主页 会发光 | 菜鸟二级 | 园豆:258
提问于:2019-03-25 18:02
< >
分享
清除回答草稿
   您需要登录以后才能回答,未注册用户请先注册