python 爬虫

-1

悬赏园豆：50 [已解决问题] 解决于 2018-04-17 09:05

最近在爬一个网站，看后有点懵B,希望各位大神指导一下？

http://ai.12348.gov.cn/我要爬取《离婚咨询》里面的所有问题和答案，但是我一直找不到合适的data数据。

xpyue | 初学一级 | 园豆：88
提问于：2018-04-06 16:08

< >

最佳答案

可以使用一些自动化测试工具比如selenium webdriver边点击边获取信息。

收获园豆：50

ycyzharry | 高人七级 |园豆：25651 | 2018-04-08 12:06

关键是它的答案不固定，有填空的，有下拉菜单的，还有点击选择的。模拟登录搞不定。

xpyue | 园豆：88 (初学一级) | 2018-04-09 19:38

查看源码里选项都有吧可以用driver.getPageSource() 获取到所有数据

ycyzharry | 园豆：25651 (高人七级) | 2018-04-10 09:03

@ycyzharry: 这样只能拿到这一个答案方向的题，它是树状结构的，一道题如果有4个答案，那么就会对应4个不同的问题，这样还是拿不到整个问题和答案。这只是一个选择题，它里边还有填空题，我们怎么去模拟

xpyue | 园豆：88 (初学一级) | 2018-04-17 09:17

其他回答(1)

异步加载，抓包

961897 | 园豆：202 (菜鸟二级) | 2018-04-06 18:07

抓到包后，它每次data里的参数的个数不固定，

支持(0) 反对(0) xpyue | 园豆：88 (初学一级) | 2018-04-09 19:40

清除回答草稿

您需要登录以后才能回答，未注册用户请先注册。

欢迎，请先 登录 或者 注册 。