对于页面下拉自动加载内容，爬虫如何获取数据？

悬赏园豆：50 [已解决问题] 解决于 2015-07-27 18:35

编程新人，最近在学习爬虫技术，想拿一些网站练练手。

但是遇到了这个问题，有的网站（类似知乎）下拉到最下方时自动加载更多内容。

那么这样的话爬虫要如何获取这部分下拉加载的内容呢？

提供一些解决的思路也可以，谢谢。

爬虫技术

能不能别闹 | 初学一级 | 园豆：71
提问于：2015-07-27 16:19

< >

最佳答案

1、你安装一个Fidder，下拉网页的时候，会有http请求。

2、你看网页的代码，下拉网页的代码看懂了，就知道是咋回事了。

收获园豆：50

爱编程的大叔 | 高人七级 |园豆：30839 | 2015-07-27 17:18

其他回答(2)

你看它请求的内容是啥。

Launcher | 园豆：45045 (高人七级) | 2015-07-27 16:28

不好意思，我不是很明白。能否说详细些。

支持(0) 反对(0) 能不能别闹 | 园豆：71 (初学一级) | 2015-07-27 16:35

@能不能别闹: 知道 HTTP 请求吗？

支持(0) 反对(0) Launcher | 园豆：45045 (高人七级) | 2015-07-27 16:37

关注这个博客很久了，写的爬虫教程很多，关键是教程好细致，特色适合初学者
推荐给你看看
youmumzcs的专栏
http://blog.csdn.net/youmumzcs?viewmode=contents

sosozzzx | 园豆：302 (菜鸟二级) | 2016-09-08 17:04

清除回答草稿

您需要登录以后才能回答，未注册用户请先注册。

欢迎，请先 登录 或者 注册 。