首页 新闻 搜索 专区 学院

python scrapy+spynner如何实现抓取腾讯应用宝中一款APP的所有评论

0
悬赏园豆:50 [已解决问题] 解决于 2016-03-17 15:09

python scrapy+spynner如何实现抓取腾讯应用宝中一款APP的所有评论。

例如网址:http://android.myapp.com/myapp/detail.htm?apkName=com.tencent.mobileqq

腾讯应用下的评论点击js获取更多评论,如何通过scrapy+spynner如何实现抓取?

请高手赐教具体使用的方法名 和 思路。

感谢。

问题补充:

页面抓取获取的html

<a class="det-comment-show-more-btn" id="J_DetCommentShowMoreBtn" href="javascript:void(0)" hidefocus="true" style="display: block;">查看更多评论</a>

 

shhnwangjian的主页 shhnwangjian | 初学一级 | 园豆:157
提问于:2016-03-15 17:29
< >
分享
最佳答案
1

拿第一页数据

http://android.myapp.com/myapp/app/comment.htm?apkName=com.tencent.mobileqq&apkCode=336&p=1

返回的数据里面有"contextData":"id=1038261516794720256,t=1458114519"

把这个参数传入进去获取第二页

http://android.myapp.com/myapp/app/comment.htm?apkName=com.tencent.mobileqq&apkCode=336&p=2&contextData=id=1038261516794720256,t=1458114519

收获园豆:50
Rich.T | 老鸟四级 |园豆:3440 | 2016-03-16 16:58

谢谢你的回复,这样不能获取到新内容,我现在使用selenium+PhantomJS已可以抓取数据。

shhnwangjian | 园豆:157 (初学一级) | 2016-03-17 15:00

@shhnwangjian: 为啥不能获取新内容,你确定理解了我说的?

Rich.T | 园豆:3440 (老鸟四级) | 2016-03-17 15:01

@Rich.T: 不好意思,我刚才仔细尝试了你的方法,确实可以。非常感谢。

shhnwangjian | 园豆:157 (初学一级) | 2016-03-17 15:08

@shhnwangjian: 好

Rich.T | 园豆:3440 (老鸟四级) | 2016-03-17 15:10
其他回答(2)
0

https://github.com/2tu/ReviewsCrawl

简单写了下,执行Crawl.py

Atlas's blog | 园豆:202 (菜鸟二级) | 2016-07-21 10:36
0

写爬虫的童鞋可以试试神箭手云爬虫,自带JS渲染、代理ip、验证码识别等功能,还可以发布和导出爬取的数据,生成图表等,都在云端进行,不需要安装开发环境。

sosozzzx | 园豆:302 (菜鸟二级) | 2016-08-23 16:22
清除回答草稿
   您需要登录以后才能回答,未注册用户请先注册