首页新闻找找看学习计划
当前位置: 博问标签 /采集/未解决/ 已解决
9
回答数

10 .NET采集数据量过大,采集数据延迟,怎么优化?

使用VS17搭建的MVC框架 多线程采集数据开了很多控制台应用程序每一个控制台应用程序里面都有很多线程采集数据写入SQL14,由于数据量太大,采集速度慢,数据多的会延迟半小时多,请问大神们这个有什么优
1
回答数

代理服务器国内哪家稳定速度快些

最近研究很多代理服务器发现都不是多么给力稳定代码改变世界
2
回答数

拿58房源数据,过快了服务器给403

🈶️好的解决办法么,目前我用一个ip操作的出现了403有好的解决办法么 有偿
2
回答数

是 我去拿58房源数据,过快了服务器会给我403,

完整的数据有20w字符,拒绝访问了只返回 7,8百的字符... 伤心 有大神吗 有解决办法没
2
回答数

58最近换了滑块验证码抓取过快要验证码如何破

抓取房源时时更新速度过快就要验证码很揪心啊
1
回答数

30 找人用abot写个带界面的采集演示程序 有偿

项目地址https://github.com/sjdirect/abot 并教会我如何配置使用, 有偿
1
回答数

20 怎么使用爬虫采集知乎上的问题和答案

要采集知乎上的问题和答案以及评论等这些数据,一般的采集器都无法做到。我也一直在搜索这方面相关的采集和爬虫,终于发现了一个叫神箭手云爬虫的(地址是:http://www.shenjianshou.cn/
0
回答数

阿里去啊酒店采集谁做过?那个sign是怎么计算的?

如题 mtop.trip.hotel.hotelDetail 采集这个API接口 https://api.m.taobao.com/h5/mtop.trip.hotel.hotelDetail/1.0
1
回答数

webkit.net 访问https协议网站解决方案。

webkit.net 不能正常访问https协议的网站,http正常,有什么解决方案吗?
0
回答数

10 php正则匹配

php的采集里面的正则匹配能不能实现多行匹配。我看一般都是单行的匹配 ,想知道怎么写多行匹配的表达式
2
回答数

10 采集是,用的是POST提交方式,如何使用代理IP啊

在做采集时:采集对方的数据时:一定要用POST的提交方式,请问用POST如何使用代理IP呢,我是这样写的,但是报操作超时的异常 try { Encoding encoding = Encoding.G
3
回答数

10 采集网站图片时,出现403错误

我做了个数据采集器,采集网站上图片以及相关信息,当获取网站上的图片url后,获取图片,http返回403错误,当在浏览器上打开网站加载时,图片可以正常显示,当直接在浏览器上输入图片url也报403错误
3
回答数

5 Java HTTP Client 抓取网页,这个网页无论用什么编码都是乱码?

代码 大概是这样 ,采集其他网页没有问题 ................ client.executeMethod(get); // String statusText = get.getStatu
1
回答数

5 关于HttpWebRequest的神坑。。。。。

请教各位大神一个问题。 Uri uri = new Uri(url); HttpWebRequest myReq = (HttpWebRequest)WebRequest.Create(uri); m
4
回答数

10 各大浏览器采集,防屏蔽策略

请问有没有大神做过搜索引擎新闻采集? 针对搜索引擎,采集过快会被屏蔽是如何做处理的? 目前我们的采集速度是1秒 采集一次但是还是会被屏蔽掉。 如果做到长时间采集不会被屏蔽掉了? 目前是伪装的谷歌的请求
4
回答数

40 采集 关于HTML新闻列表地址获取,和乱码处理

问题1 获取HTML页面存在乱码 请问有什么好的方式了? 常规的获取1 HTTP请求头返回的编码 错误的2 获取HTML页面标签当中设置的编码 <meta charset="utf-8"/> 错误的
5
回答数

50 动态页面采集,求路过的大神支招。。。。

小弟最近在做一个新闻项目主要是做 文章采集要采集评论。解析用的正则 评论目前大部分都是用AJAX加载无法采集 请问下路过的大神有没有什么好点的思路 最好是案例 如果有案例的话 发我邮箱tangxg19
3
回答数

10 如何在【租借的服务器】上运行 定期执行任务.

当前环境: 支持语言: ASP、.NET1.0/2.0/3.5/4.0、HTML、Perl5 服务器:租借的服务器 数据库: SQL Server Management R2 目的: 让网站 定期执行
3
回答数

30 小弟要做个电视剧和电影批量采集软件 希望各位大神提点意见

小弟最近想做个视频批量采集没有思路 不知道如何获取视频真实下载地址不知道那位大神知道 只需要能满足国内几个大型的站点就行希望能提供源码或者解决方案 谢谢各位
4
回答数

5 【轻松拿分,师傅们快来吧】 正则 字符串操作

把字符串根据需要分段保存到数组。(也就是提取全部A标签) 正则:不知道怎么写 System.Text.RegularExpressions.Regex.Split 可以实现么? 或者有其它什么好写法
2
回答数

5 采集信息显示问题?急

内容详情请点击问题查看!
2
回答数

5 一般的采集程序是否可以采集到ajax加载的内容?

内容详情请点击问题查看!
1
回答数