标题没起好,确实想不来怎么形容...
news_info里有多个news。
news的数据:`['https://www.xxxx.com.cn/news/...', 'xxx学会为自己“找乐子”', 'xx汽车', '2小时前', '功能更加丰富便
捷。...每天挖掘一条车机智能语音的潜能,400多种语料用车环境足够我们将爱车撩上一年有余!欧洲那套“座驾即工具...或许会让你堵车的时刻心情也能保持轻松悠然。']` 是一个list。
news_info通过for循环之后,添加ItemLoader:
item_loader.add_value('url', str(news[0]))
item_loader.add_value('title', str(news[1]))
item_loader.add_value('source', str(news[2]))
item_loader.add_value('time', str(news[3]))
item_loader.add_value('content', str(news[4]))
item_loader.add_value('ca', self.json_config.get('ca'))
item_loader.add_value('web', self.web)
item_loader.add_value('sy', 0)
item_loader.add_value("webs", self.json_config.get('webs'))
item_loader.add_value('crawl', str(crawl))
item_loader.add_value('task', self.task)
yield baidu_item_loader.load_item()
讲道理数据一条一条的保存应该没啥问题...但是实际上在数据保存时,数据被合并了。
保存到数据库的结果:
按理说应该是每一个存一条的...
如果直接使用scrapy的item,就不会有这种问题。
哪里有描述不清楚或者需要增加代码的,我再加。