首页新闻找找看学习计划
当前位置:博问标签/爬虫/未解决/ 已解决
1
回答数

待解决问题 15 爬虫关于爬到只有标签,没有内容<html><head></head><body></body></html>是怎么回事

学习爬虫阶段,看到有爬某个网站的图片,然后通过requests访问,返回response.text的时候,缺只爬到了<html><head></head><body></body></html>,头标
1
回答数

待解决问题 头条新闻评论爬虫,返回信息为空的奇怪现象

我在爬头条新闻评论时遇到一个奇怪的问题,用postman模拟请求可以正常获得数据,但用python requests模块写的请求获取到的数据总是空的,有返回信息,但里面没有有用的价值。接口类似于这种:
1
回答数

待解决问题 5 python利用 itchat.get_chatrooms() 为啥获取不到所有的群名称

在获取群用户的时候碰到一个问题: 当利用get_chatrooms()获取微信群名称的时候不能把所有的群名称get下来,只有一部分。如果你在群里说一句话或者将群保存到“群聊”的时,这时候就能获取到相关
2
回答数

待解决问题 20 有没有大神能用python模拟登录同程旅游网?

我用已经登录成功的cookie去获取同程其它页面获取不了 1 import re 2 import requests 3 import http.cookiejar 4 from PIL import
1
回答数

待解决问题 scrapy 报错 ValueError: dictionary update sequence element #0 has length 5; 2 is required

爬虫目的 新闻详情页的结构分两种,判断结构,再获取不同的内容。 请各位朋友看一下这个错误? 非常感谢 Traceback (most recent call last): File "/usr/loc
1
回答数

待解决问题 20 python多线程爬虫报错

用selenium写了一个爬动态网页的爬虫,用的ie,因为有很多IO,爬的太慢了想要用多线程。但是有以下报错不知道什么原因,希望大神解答啊 selenium.common.exceptions.Web
1
回答数

待解决问题 爬取简书首页文章,ajax请求模拟失败了,帮忙看看

1 /** 2 * 爬取简书首页文章 3 * 照着抓包抓到的文件request header,头部都给加上去了 4 * 怎么就是抓不到第二页呢? 5 */ 6 var http = require("
1
回答数

待解决问题 5 Python模拟登录,但是找不到网页的登录接口..

最近工作需要,需要登录网站来爬取数据,但是我找不到网站的登录接口,不知道怎么传参数,我点击登录的时候弹出来一个弹窗登录界面。 网址是:http://fanxing.kugou.com/ 界面如下:
1
回答数

待解决问题 关于去哪儿网和驴妈妈网酒店数据的爬取

最近做网站数据爬取,当爬到驴妈妈和去哪儿网的时候遇到了问题,我用谷歌浏览器监控网站的请求,发现得不到想要的酒店请求地址,请问有人做过吗,教教我,万分感激
2
回答数

待解决问题 爬虫新手遇到的问题:chrome使用开发者工具有的网站preview不显示层叠样式

就像下面这样,可是有的网站就可以正常显示,
1
回答数

待解决问题 python 爬虫 re 如何抓取 这种html的代码

<div style='display:block; width:100%; height:475.066px;'> <table width='100%' border='0' align='cen
5
回答数

待解决问题 20 爬虫——用requests在拉勾网爬取职位信息

在Python2.x版本上写的代码 ,运行代码的时候报错,KeyError: 'content' 代码如下: import json import requests def get_job_infor
0
回答数

待解决问题 爬虫——在京东商城爬取狗粮

问题:用BeautifulSoup在京东商城爬取狗粮信息时,对于价格这一点,个别价格爬取的结果是None ,然后分析网页源代码,发现不是在同一个标签,然而尝试调试异常或者另给标签,都没爬取到完整信息点
2
回答数

待解决问题 10 python多线程爬虫,提高效率,怎么写?

1 import requests 2 from scrapy.selector import Selector 3 import scrapy,datetime 4 import threading
2
回答数

待解决问题 10 webhttprequest爬取asp.net站点报错:Invalid postback or callback argument……

最近因为工作需要,写一个爬虫小软件。 一切基本就绪后突然在爬一个ASP.NET站点时出问题了,错误信息如下: 505|error|500|Invalid postback or callback ar
1
回答数

待解决问题 5 python爬虫怎么输入代理服务器的账号密码

公司用的代理服务器上网,每次打开网页都要弹出代理的账号密码进行验证,我现在想在python里实现登录代理,应该怎么做?