首页 新闻 搜索 专区 学院
当前位置:博问标签/采集/未解决/ 已解决
9
回答数

已解决问题 10 .NET采集数据量过大,采集数据延迟,怎么优化?

使用VS17搭建的MVC框架 多线程采集数据开了很多控制台应用程序每一个控制台应用程序里面都有很多线程采集数据写入SQL14,由于数据量太大,采集速度慢,数据多的会延迟半小时多,请问大神们这个有什么优
2
回答数

已解决问题 是 我去拿58房源数据,过快了服务器会给我403,

完整的数据有20w字符,拒绝访问了只返回 7,8百的字符... 伤心 有大神吗 有解决办法没
3
回答数

已解决问题 10 采集网站图片时,出现403错误

我做了个数据采集器,采集网站上图片以及相关信息,当获取网站上的图片url后,获取图片,http返回403错误,当在浏览器上打开网站加载时,图片可以正常显示,当直接在浏览器上输入图片url也报403错误
3
回答数

已解决问题 5 Java HTTP Client 抓取网页,这个网页无论用什么编码都是乱码?

代码 大概是这样 ,采集其他网页没有问题 ................ client.executeMethod(get); // String statusText = get.getStatu
1
回答数

已解决问题 5 关于HttpWebRequest的神坑。。。。。

请教各位大神一个问题。 Uri uri = new Uri(url); HttpWebRequest myReq = (HttpWebRequest)WebRequest.Create(uri); m
4
回答数

已解决问题 10 各大浏览器采集,防屏蔽策略

请问有没有大神做过搜索引擎新闻采集? 针对搜索引擎,采集过快会被屏蔽是如何做处理的? 目前我们的采集速度是1秒 采集一次但是还是会被屏蔽掉。 如果做到长时间采集不会被屏蔽掉了? 目前是伪装的谷歌的请求
4
回答数

已解决问题 40 采集 关于HTML新闻列表地址获取,和乱码处理

问题1 获取HTML页面存在乱码 请问有什么好的方式了? 常规的获取1 HTTP请求头返回的编码 错误的2 获取HTML页面标签当中设置的编码 <meta charset="utf-8"/> 错误的
2
回答数

已解决问题 10 如何在【租借的服务器】上运行 定期执行任务.

当前环境: 支持语言: ASP、.NET1.0/2.0/3.5/4.0、HTML、Perl5 服务器:租借的服务器 数据库: SQL Server Management R2 目的: 让网站 定期执行
3
回答数

已解决问题 30 小弟要做个电视剧和电影批量采集软件 希望各位大神提点意见

小弟最近想做个视频批量采集没有思路 不知道如何获取视频真实下载地址不知道那位大神知道 只需要能满足国内几个大型的站点就行希望能提供源码或者解决方案 谢谢各位
4
回答数

已解决问题 5 【轻松拿分,师傅们快来吧】 正则 字符串操作

把字符串根据需要分段保存到数组。(也就是提取全部A标签) 正则:不知道怎么写 System.Text.RegularExpressions.Regex.Split 可以实现么? 或者有其它什么好写法
2
回答数

已解决问题 5 采集信息显示问题?急

内容详情请点击问题查看!
1
回答数

已解决问题 5 一般的采集程序是否可以采集到ajax加载的内容?

内容详情请点击问题查看!
1
回答数