首页 新闻 会员 周边 捐助

Python小白,需要大神们的帮助

0
悬赏园豆:200 [已解决问题] 解决于 2017-09-27 17:40

现在有这么一个需求,
我有100个账号,需要登录到某网站(登录需要验证码)
我需要同时登录这100个账号,然后把账号中我要的数据提取出来(登录成功后,每个账号需要到不同的页面拿取数据)
我想做成一个Windows窗体,我每点击刷新,就能把实时的数据显示出来。
想问问大神们具体需要用到什么,无从下手。
某网站支持一个IP登录多个账号。

求大神们指出一条明路。

海胆的主页 海胆 | 初学一级 | 园豆:2
提问于:2017-09-26 21:12
< >
分享
最佳答案
0

1.你所说的不同数据是不是因为登录的帐号不一样所以数据不同,但是url是一样的?

   如果是这种情况,就写一个程序,依次输入帐号密码即可.

2.登录的情况,可以用浏览器模拟登录或者分析请求模拟登录,验证码可以手动输入或者去打码平台

  100个话不多,可根据情况来看,主要看你怎么获取回来验证码,然后填进去

  你要是登录帐号获取到的cookie可以一直用的话,是可以一直获取数据的

3.你所说的窗体是界面吗?爬虫一般不要界面.如果你要实时显示,最好分两个模块,一个采集数据,一个展示数据

4.ip的问题主要看网站,网站不封ip的话敞开用

你不知道怎么下手的话,先分析一下有没有可行性,像楼上说的一个帐号一个url就很难搞.比较麻烦

如果觉得可以搞,先拿一个帐号试一下,你登录一个帐号,看能不能用程序登录成功;你用登录的cookie试一下,看能不能获取到数据,先把这些基本的问题解决了,你就知道怎么去处理100个帐号了.

收获园豆:200
Masako | 小虾三级 |园豆:1893 | 2017-09-27 17:18

好的,谢谢你,我准备拿Python获取到数据存储到MySQL中,用C#读取数据库中的数据,显示出来。

刚刚自学Python,能不能推荐点教程什么的,想cookie,request这类的知识,不知道从何下手,还有如果我登录到一个网站了,我在请求这个网站下的别的页面还用在重新登录么,这个是不是cookie方面的知识。

 

小白,有些语无伦次,请见谅~

海胆 | 园豆:2 (初学一级) | 2017-09-27 17:29

@海胆: 

这个cookie这些是http相关的知识,可以看一下这个:http://www.runoob.com/http/http-tutorial.html

这个菜鸟教程上的python教程也可以,都比较基础.

看些基础再看一点爬虫的例子(网上自己找点爬知乎豆瓣什么的爬虫文章),就差不多可以自己找些网站爬取练手了.

Masako | 园豆:1893 (小虾三级) | 2017-09-27 17:54
其他回答(3)
0

且不说后面的 我首先想问的是 你怎么绕过验证码

ycyzharry | 园豆:25683 (高人七级) | 2017-09-27 09:01

把账号全部登陆,不退出,然后可以一直获取数据,这样不知能实现么

支持(0) 反对(0) 海胆 | 园豆:2 (初学一级) | 2017-09-27 09:06
0

不好做,首先爬虫都是按一定规律爬,你现在技术上的问题先不考虑,但是100个帐号要去不同页面拿数据,那么你就得有个这个对应关系,光列kv也够你受的。我觉得你该先将要爬的东西分类,然后可以同时开始多个爬虫就好

北方姆Q | 园豆:1120 (小虾三级) | 2017-09-27 10:11
0

每个账号要取数据的页面是否有一定的规则啊,如果有就比较好做的了,验证码可以通过接入打码平台来处理

吾八哥 | 园豆:202 (菜鸟二级) | 2017-09-27 10:20

每个账号都是取同样的数据,都在相同的页面

支持(0) 反对(0) 海胆 | 园豆:2 (初学一级) | 2017-09-27 14:31
清除回答草稿
   您需要登录以后才能回答,未注册用户请先注册