首页 新闻 搜索 专区 学院

有位Python大佬可以给小弟解惑一下

0
[已解决问题] 解决于 2021-06-24 09:30

这是判断当前也是否是最后一页不是的话就进入下一页继续爬取数据知道最后一页。我爬取的是这个网址:https://movie.douban.com/top250

nextLink = selector.xpath('//span[@class="next"]/link/@href').extract()

        if nextLink:  # 第十页是最后一页,没有下一页的链接
            nextLink = nextLink[0]
            yield Request(self.start_urls[0] + nextLink)
辉龙使的主页 辉龙使 | 初学一级 | 园豆:199
提问于:2021-05-21 16:55
< >
分享
最佳答案
0

第十页 的span 没有a标签,xpath 获取的就是null

奖励园豆:5
敲代码挣彩礼 | 小虾三级 |园豆:1469 | 2021-05-22 09:33

有两种方案, 一种是 直接获取 最后一个总页数

另外一种方案就是获取数据总量

敲代码挣彩礼 | 园豆:1469 (小虾三级) | 2021-05-22 09:34
其他回答(1)
1

递归获取 如果获取到的结果为null就返回

初夏的阳光丶 | 园豆:641 (小虾三级) | 2021-05-24 14:52

+1

支持(0) 反对(0) winds_随风 | 园豆:156 (初学一级) | 2021-05-24 16:32
清除回答草稿
   您需要登录以后才能回答,未注册用户请先注册