首页新闻找找看学习计划

python 爬虫

-1
悬赏园豆:50 [已解决问题] 解决于 2018-04-17 09:05

最近在爬一个网站,看后有点懵B,希望各位大神指导一下?

http://ai.12348.gov.cn/我要爬取《离婚咨询》里面的所有问题和答案,但是我一直找不到合适的data数据。

xpyue的主页 xpyue | 初学一级 | 园豆:88
提问于:2018-04-06 16:08
< >
分享
最佳答案
0

可以使用一些自动化测试工具 比如selenium webdriver边点击边获取信息。 

收获园豆:50
ycyzharry | 高人七级 |园豆:20094 | 2018-04-08 12:06

关键是它的答案不固定,有填空的,有下拉菜单的,还有点击选择的。模拟登录搞不定。

 

 

 

xpyue | 园豆:88 (初学一级) | 2018-04-09 19:38

查看源码里选项都有吧 可以用driver.getPageSource() 获取到所有数据

ycyzharry | 园豆:20094 (高人七级) | 2018-04-10 09:03

@ycyzharry: 这样只能拿到这一个答案方向的题,它是树状结构的,一道题如果有4个答案,那么就会对应4个不同的问题,这样还是拿不到整个问题和答案。这只是一个选择题,它里边还有填空题,我们怎么去模拟

xpyue | 园豆:88 (初学一级) | 2018-04-17 09:17
其他回答(1)
0

异步加载,抓包

TIME_dy | 园豆:202 (菜鸟二级) | 2018-04-06 18:07

抓到包后,它每次data里的参数的个数不固定,

支持(0) 反对(0) xpyue | 园豆:88 (初学一级) | 2018-04-09 19:40
清除回答草稿
   您需要登录以后才能回答,未注册用户请先注册