首页 新闻 会员 周边

网络爬虫下一页的抓取问题

0
悬赏园豆：40 [待解决问题]

网络爬虫下一页的抓取问题：

<a href="javascript:__doPostBack('rpMessage','pager$5')">6</a>

怎么能够获取下一页

蛮荒时代的主页 蛮荒时代 | 初学一级 | 园豆：162
提问于：2015-11-30 18:15
< >
分享
所有回答(3)
0

找到这个对应的请求继续发送请求。获取下一页。

凝冰 | 园豆：685 (小虾三级) | 2015-12-01 10:20

javascript:__doPostBack('rpMessage','pager$5')"  请求是靠这个发送的  

支持(0) 反对(0) 蛮荒时代 | 园豆：162 (初学一级) | 2015-12-01 13:31

@蛮荒时代: 你别管它靠什么发送的，你只管发送的是什么。

例如：该方法获取了一堆查询参数然后传入下一页页码最后请求url如下

http://www.example.com/news?id=1&hot=1&xx=xx&xx=xq&page=2

你获取下一页时只要把page=2换成page=3就行了

支持(0) 反对(0) 喵喵喵猫 | 园豆：1742 (小虾三级) | 2015-12-01 13:49

@蛮荒时代:胡说，post参数并不是直接在url里面，我只是举例

支持(0) 反对(0) 喵喵喵猫 | 园豆：1742 (小虾三级) | 2015-12-01 19:18

@蛮荒时代: 你给个具体的地址，我帮你找到请求链接。找到请求链接直接发送请求获取源码就行了啊。

支持(0) 反对(0) 凝冰 | 园豆：685 (小虾三级) | 2015-12-02 10:06

@蛮荒时代: 

那些就是请求的地址呀。直接请求不就可以了吗？

支持(0) 反对(0) 凝冰 | 园豆：685 (小虾三级) | 2015-12-02 10:23

@蛮荒时代: 什么内部链接

支持(0) 反对(0) 凝冰 | 园豆：685 (小虾三级) | 2015-12-02 10:24

@蛮荒时代: 我这边点下一页都没有反应。

支持(0) 反对(0) 凝冰 | 园豆：685 (小虾三级) | 2015-12-02 10:31

@凝冰: 有，里边信息会更新的。他发送的get请求

支持(0) 反对(0) 蛮荒时代 | 园豆：162 (初学一级) | 2015-12-02 10:37
0

找下一页的url

silianpan | 园豆：571 (小虾三级) | 2015-12-04 04:05
0

写爬虫的童鞋可以试试神箭手云爬虫，自带JS渲染、代理ip、验证码识别等功能，还可以发布和导出爬取的数据，生成图表等，都在云端进行，不需要安装开发环境。

开发文档参考：http://doc.shenjianshou.cn/

官方开发者QQ群：342953471

sosozzzx | 园豆：302 (菜鸟二级) | 2016-08-18 16:59
清除回答草稿
   您需要登录以后才能回答，未注册用户请先注册。