首页 新闻 会员 周边
1
回答数

回答被采纳 5 python3编码问题

tcpCliSock.send('[%s] %s' %(ctime().encode('utf-8'),data))报错信息:TypeError: a bytes-like object is req
1
回答数

回答被采纳 10 scrapy item_loader使用出现的问题

我有一项值无论怎么处理,始终都是列表无法提取第一个。 因为提取的日期值后面会有一个点:2018/09/04 · 所以我想着先使用达特——conver处理一下再转化为日期格式,最后用TakeFirst提
1
回答数

已关闭问题 为什么我爬取的数据有的是数值型有的是字符串型。

同一个xpath语句提取的数据,有的是数值型,有的是字符串型。这是为什么呢,想了好久没找到原因。
1
回答数

回答被采纳 mongodb数据查询问题

我使用语句:db.getCollection('camera').find({'price':{'$gt':'5000'}}) 得到结果却有一些价格低于5000的商品出现。不知道是不是因为price不
1
回答数

回答被采纳 5 新手爬虫正则的问题

我对https://list.jd.com/list.html?cat=652,654,831这个页面进行爬取。使用scrapy-splash这些都没有问题,就是商品名称这块有问题。代码片段如下: t
0
回答数

待解决问题 10 scrapy-splash实现下拉加载遇到的问题

根据书上的介绍练习爬取京东Python图书的信息。京东一次加载30个商品,再往下会再加载30个,共计60个为一页。我在chrome的console中执行语句,发现可以实现下拉。 $("ul.gl-wa
0
回答数

待解决问题 50 browsercookie如何使用

看书有说python的第三方库browsercookie可以获取chrome浏览器的cookie,我安装好后,import browsercookie没有报错是不是说明这个库安装成功? 然后我按照书上
0
回答数

待解决问题 scrapy终端

scrapy shell的作用是什么?是不是可以用来在写scrapy具体内容前实验可行性?感觉shell什么都可以干,但是又好不方便,是不是只能在cmd中运行啊。
2
回答数

已解决问题 10 python能否固定一个值

在scrapy框架。有的信息只有第一页有,我想将这个唯一的信息保存在每一个item里面。尝试了很多方法,每次回调函数parse时由于第二页没有这个信息,该值就变为None了。请问如何解决?
1
回答数

回答被采纳 10 scrapy爬虫

我在parse函数下像平时一样使用xpath语句,结果得到的不是想要的文本信息,而是:"<Selector xpath='//div[@class=\"photo-info\"]/span[@clas
1
回答数

待解决问题 scrapy爬取链家遇到的问题

下一页如何用LinkExtractor提取? 网页元素为: <a href="javascript:;" data-page="2">2</a> ...... <a href="javascript:
0
回答数

待解决问题 5 re.sub跨行匹配的问题

如何实现跨行匹配但是又不将原有的换行符替换掉?比如: s = """aaa[AA]aa[/AA]bb[BB]bb bb[/BB]cc[CC]cc[/CC][BB]bb[/BB]b"""将[BB]...
1
回答数

已解决问题 20 python建立IP池全部都是无效ip

import requests,datetime,threading,time from fake_useragent import UserAgent from lxml import etree
1
回答数

已解决问题 关于正则非捕获元字符的问题

在看书时,关于在限定模式下使用split()分隔字符串有这样一个例子: import re DATA = ( 'Mountain wgag, CA 51676', 'wgag gage, CA', '
2
回答数

回答被采纳 selenium如何实现登录百度

python和selenium在尝试百度首页登录时发现,点击登录后会弹出登录小窗口,小窗口默认是二维码登录。然后按理说应该选择左下角的用户名登录,可是无论我怎么定位,程序始终报错。网上我搜索的方案也都
0
回答数

待解决问题 爬取淘宝商品信息时遇到的问题

书上是用的xpath方法对Elements中的内容直接爬取。可是实际操作我发现不能直接对Elements中的内容使用xpath或者re方法,下面的代码并不能爬取到内容。 from lxml impor
1
回答数

待解决问题 python数据导入MYSQL中出现ProgrammingError: 1064

新手学习爬虫,爬取简书网热评,其中就只有点赞数无法导入,以下为报错信息: pymysql.err.ProgrammingError: (1064, "You have an error in your