首页 新闻 搜索 专区 学院

爬虫中获取页面的问题

0
悬赏园豆:30 [已解决问题] 解决于 2018-05-11 17:13

爬取的页面中url有一个参数page=1。代表第一页,page=2代表第二页,但是访问第一页正常,访问第二页就获取不到页面了,这种问题怎么解决,可能出现的原因在哪。已知确实是通过url中参数的变化获取下一页的

陆无为的主页 陆无为 | 初学一级 | 园豆:66
提问于:2018-04-12 16:47
< >
分享
最佳答案
0

网站的反爬措施较好,得连续访问两次才可以,第一次返回空

陆无为 | 初学一级 |园豆:66 | 2018-05-11 17:12
其他回答(2)
0

可能是你的cookie有问题.确认一下网页每一页的cookie是不是一样.

收获园豆:15
Masako | 园豆:1751 (小虾三级) | 2018-04-13 09:04
0

注意拼接你的url,打印一下看看对不对,看看打印后的url手动访问以下看看能进去不

收获园豆:15
DanBrown | 园豆:1496 (小虾三级) | 2018-04-20 10:48
清除回答草稿
   您需要登录以后才能回答,未注册用户请先注册