爬虫中获取页面的问题

悬赏园豆：30 [已解决问题] 解决于 2018-05-11 17:13

爬取的页面中url有一个参数page=1。代表第一页，page=2代表第二页，但是访问第一页正常，访问第二页就获取不到页面了，这种问题怎么解决，可能出现的原因在哪。已知确实是通过url中参数的变化获取下一页的

陆无为 | 初学一级 | 园豆：68
提问于：2018-04-12 16:47

< >

最佳答案

网站的反爬措施较好，得连续访问两次才可以，第一次返回空

陆无为 | 初学一级 |园豆：68 | 2018-05-11 17:12

其他回答(2)

可能是你的cookie有问题.确认一下网页每一页的cookie是不是一样.

收获园豆：15

Masako | 园豆：1893 (小虾三级) | 2018-04-13 09:04

注意拼接你的url,打印一下看看对不对,看看打印后的url手动访问以下看看能进去不

收获园豆：15

DanBrown | 园豆：1321 (小虾三级) | 2018-04-20 10:48

清除回答草稿

您需要登录以后才能回答，未注册用户请先注册。

欢迎，请先 登录 或者 注册 。