首页 新闻 赞助 找找看

scrapy爬取链家遇到的问题

0
[待解决问题]

下一页如何用LinkExtractor提取?

网页元素为:

<a href="javascript:;" data-page="2">2</a>

......

<a href="javascript:;" data-page="33">33</a>

<a href="javascript:;" class="next">下一页</a>

感觉JavaScript代码为空啊。。。应该也用不了process_value方法。。

是不是只能利用url规律构造列表,直接调用parse函数?

从MH到其他的主页 从MH到其他 | 初学一级 | 园豆:140
提问于:2018-08-14 12:09
< >
分享
所有回答(1)
0

你需要做网页分析,,打开相关浏览器的开发工具,,选择Network栏目,可以查看客户端和浏览器的来往链接,,

 

之前看过下面的书:从零开始学Python网络爬虫,里面讲的挺清楚的。

http://item.jd.com/12215717.html

快乐的凡人721 | 园豆:3882 (老鸟四级) | 2018-08-15 09:56
清除回答草稿
   您需要登录以后才能回答,未注册用户请先注册