首页新闻找找看学习计划
当前位置: 博问标签 /网络爬虫/未解决/ 已解决
0
回答数

爬取糗事百科上的段子和内容,运行出错,求指出代码错误之处,不胜感激!

import re import urllib.requestdef getcontent(url,page): #模拟成浏览器 headers=("User-Agent","mozilla/5.0
2
回答数

40 找规律 一串验证码路径 但是 未找到规律 请高手过目一下

最近 在做网络爬虫,然后要登录到别人系统,别人的系统有验证码,每次点击获取验证码,但 是没找到规律,各位同行,帮忙找找规律 好像跟时间 有关系 但是又没观察出来!急死了 /cn/42681.59059
7
回答数

100 微博爬虫账号被封的解决方案

最近做微博的爬虫,发现账号被封的现象比IP被封更明显,所以需要多账号来进行爬虫。不知道大家都是如何获得微博大量的帐号用于爬虫的呢?
1
回答数

5 实现网络爬虫与搜索引擎技术都需要配备什么样的资源?

公司准备做一个关于搜索引擎方面的东西,但是本人对这块不是熟悉,都需要配备什么样的资源,比如人才,软件(开源或商业的,开源优先),硬件,网络等,请大家不吝赐教。 大致的要求是能有一个爬虫去一些网站爬数据
8
回答数

50 网络爬虫爬去网站时,IP被封,怎么破?

自己写了个网络爬虫爬去程序,但是爬取大概100条的时候,就被封了,request中设置了user-agent和cookie。应该是ip被封的问题,有没有什么好的方法?(除了放慢爬取频率),不知道那些开