首页新闻找找看学习计划

对于页面下拉自动加载内容,爬虫如何获取数据?

0
悬赏园豆:50 [已解决问题] 解决于 2015-07-27 18:35

编程新人,最近在学习爬虫技术,想拿一些网站练练手。

但是遇到了这个问题,有的网站(类似知乎)下拉到最下方时自动加载更多内容。

那么这样的话爬虫要如何获取这部分下拉加载的内容呢?

提供一些解决的思路也可以,谢谢。

能不能别闹的主页 能不能别闹 | 初学一级 | 园豆:71
提问于:2015-07-27 16:19
< >
分享
最佳答案
1

1、你安装一个Fidder,下拉网页的时候,会有http请求。

2、你看网页的代码,下拉网页的代码看懂了,就知道是咋回事了。

收获园豆:50
爱编程的大叔 | 高人七级 |园豆:29818 | 2015-07-27 17:18
其他回答(2)
0

你看它请求的内容是啥。

Launcher | 园豆:45030 (高人七级) | 2015-07-27 16:28

不好意思,我不是很明白。能否说详细些。

支持(0) 反对(0) 能不能别闹 | 园豆:71 (初学一级) | 2015-07-27 16:35

@能不能别闹: 知道 HTTP 请求吗?

支持(0) 反对(0) Launcher | 园豆:45030 (高人七级) | 2015-07-27 16:37
0

关注这个博客很久了,写的爬虫教程很多,关键是教程好细致,特色适合初学者 
推荐给你看看 
youmumzcs的专栏 
http://blog.csdn.net/youmumzcs?viewmode=contents

sosozzzx | 园豆:302 (菜鸟二级) | 2016-09-08 17:04
清除回答草稿
   您需要登录以后才能回答,未注册用户请先注册