最近工作需要,需要登录网站来爬取数据,但是我找不到网站的登录接口,不知道怎么传参数,我点击登录的时候弹出来一个弹窗登录界面。
网址是:http://fanxing.kugou.com/
界面如下:
很简单。
这都那么明显还什么找不到,把数据填进去,点按钮,监听,一览无余。直接从http协议层做就行了。
如果该方法不懂,那么可以从dom层做 —— 比如webbrowser,cef等等;
还不懂,你就从webdirver,你怎么操作的就按照这个步骤模拟人的输入 —— 自动化测试也就是这么干的(很明显所谓自动化其实很无聊)。