python scrapy+spynner如何实现抓取腾讯应用宝中一款APP的所有评论
0
悬赏园豆：50
[已解决问题]
解决于 2016-03-17 15:09
python scrapy+spynner如何实现抓取腾讯应用宝中一款APP的所有评论。
例如网址：http://android.myapp.com/myapp/detail.htm?apkName=com.tencent.mobileqq
腾讯应用下的评论点击js获取更多评论，如何通过scrapy+spynner如何实现抓取？
请高手赐教具体使用的方法名 和 思路。
感谢。
问题补充：
页面抓取获取的html
<a class="det-comment-show-more-btn" id="J_DetCommentShowMoreBtn" href="javascript:void(0)" hidefocus="true" style="display: block;">查看更多评论</a>
最佳答案
1
拿第一页数据
http://android.myapp.com/myapp/app/comment.htm?apkName=com.tencent.mobileqq&apkCode=336&p=1
返回的数据里面有"contextData":"id=1038261516794720256,t=1458114519"
把这个参数传入进去获取第二页
http://android.myapp.com/myapp/app/comment.htm?apkName=com.tencent.mobileqq&apkCode=336&p=2&contextData=id=1038261516794720256,t=1458114519
收获园豆：50
谢谢你的回复，这样不能获取到新内容，我现在使用selenium+PhantomJS已可以抓取数据。
@shhnwangjian: 为啥不能获取新内容，你确定理解了我说的？
@Rich.T: 不好意思，我刚才仔细尝试了你的方法，确实可以。非常感谢。
@shhnwangjian: 好
其他回答(2)
0
0
写爬虫的童鞋可以试试神箭手云爬虫，自带JS渲染、代理ip、验证码识别等功能，还可以发布和导出爬取的数据，生成图表等，都在云端进行，不需要安装开发环境。
