有位Python大佬可以给小弟解惑一下
0
[已解决问题]
解决于 2021-06-24 09:30
这是判断当前也是否是最后一页不是的话就进入下一页继续爬取数据知道最后一页。我爬取的是这个网址：https://movie.douban.com/top250
nextLink = selector.xpath('//span[@class="next"]/link/@href').extract()
if nextLink: # 第十页是最后一页，没有下一页的链接
nextLink = nextLink[0]
yield Request(self.start_urls[0] + nextLink)
最佳答案
0
第十页 的span 没有a标签,xpath 获取的就是null
奖励园豆：5
有两种方案, 一种是 直接获取 最后一个总页数
另外一种方案就是获取数据总量
其他回答(1)
1
递归获取 如果获取到的结果为null就返回
+1
