首页 新闻 搜索 专区 学院
当前位置:博问标签/抓取/未解决/ 已解决
2
回答数

已解决问题 是 我去拿58房源数据,过快了服务器会给我403,

完整的数据有20w字符,拒绝访问了只返回 7,8百的字符... 伤心 有大神吗 有解决办法没
3
回答数

已解决问题 5 Java HTTP Client 抓取网页,这个网页无论用什么编码都是乱码?

代码 大概是这样 ,采集其他网页没有问题 ................ client.executeMethod(get); // String statusText = get.getStatu
4
回答数

已解决问题 10 各大浏览器采集,防屏蔽策略

请问有没有大神做过搜索引擎新闻采集? 针对搜索引擎,采集过快会被屏蔽是如何做处理的? 目前我们的采集速度是1秒 采集一次但是还是会被屏蔽掉。 如果做到长时间采集不会被屏蔽掉了? 目前是伪装的谷歌的请求
4
回答数

已解决问题 60 .net下如何抓取用Ajax加载的HTML

现在的网站很多都是用Ajax来显示的,用传统的方法,即Webclient,httpWebRequest等无法抓取到HTML源码,各位大大们有没有什么好办法。要在webForm下的。。