3
回答数
10
c#多线程网络爬虫技术
爬虫原理很简单，但要实现起来却挺复杂的。首先要懂得线程、还要熟悉深度优先和广度优先，最重要的是要根据自己的需要来设置正则表达式提取网上的内容。 需要一个程序，可以把网页上需要的内容根据自己的设置提取出
3
回答数
4
回答数
100
如何快速获得一个网站的新贴？
网站如下，用的是discuz http://www.shufa121.com/forum.php 我用google reader订阅的，有更新不能马上收到，经常延时一个小时，甚至更久，有什么办法立即获
4
回答数
3
回答数
2
回答数
20
Java_爬虫，如何抓取Js动态生成数据的页面？
很多网站是用js或Jquery 生成数据的，到后台获取到数据以后，用 document.write()或者("#id").html="" 的方式 写到页面中，这个时候用浏览器查看源码是看不到数据的。H
4
回答数
4
回答数
10
java 爬虫.Js网页如何爬取？
http://www.yanglee.com/product/product_Lists.aspx?ptype=105015016005 js网站的爬取，我一般就是看页面上请求后台数据 的地址，然后获
7
回答数
3
回答数
50
对于页面下拉自动加载内容，爬虫如何获取数据？
编程新人，最近在学习爬虫技术，想拿一些网站练练手。 但是遇到了这个问题，有的网站（类似知乎）下拉到最下方时自动加载更多内容。 那么这样的话爬虫要如何获取这部分下拉加载的内容呢？ 提供一些解决的思路也可
5
回答数
2
回答数
10
回答数
3
回答数
40
网络爬虫下一页的抓取问题
网络爬虫下一页的抓取问题： <a href="javascript:__doPostBack('rpMessage','pager$5')">6</a> 怎么能够获取下一页
7
回答数
50
c# 怎么抓取网页上的信息
怎么抓取网页上某个指定的信息 比如 阅读(25887)┊ 评论 (13)┊ 收藏(22) ┊转载(75) 抓取到后面的数字 html <a href="#commonComment">评论</a> <
8
回答数
3
回答数
50
python scrapy+spynner如何实现抓取腾讯应用宝中一款APP的所有评论
python scrapy+spynner如何实现抓取腾讯应用宝中一款APP的所有评论。 例如网址：http://android.myapp.com/myapp/detail.htm?apkName=
3
回答数
20
分布式爬虫如何url去重？
最近刚接触网络爬虫，写到分布式爬虫的url去重的时候感到很疑惑，网上看到的HashSet、MD5和BloomFilter都是单机上的，集群中难道只能用分布式数据库来检索？还有其他的好办法么，或者已经成
5
回答数
100
采集反爬虫网站，就是采集网址的更新内容的链接，采集不到内容！
1 //以下是部分代码 2 List<string> Weburllist = new List<string>(); 3 List<string> Weburllistzx = new List<s
2
回答数
PHP curl爬虫如何爬取动态网页？
PHP新手，在写爬虫练手，一般情况下跟踪链接不是很难，但是如果是动态页面就束手无策了。也许分析协议（但是怎么分析？），模拟执行JavaScript脚本（怎么弄？），……另外可能写一个通用的爬取AJAX
2
回答数
