爬虫获取不到网页源码
0
所有回答(5)
0
应该是有js控制html加载了，比如 滚动加载
那应该怎么爬呢？
@思仔: C#应该不行，Python的话可以模拟到一些类似滚动的用户操作。
@Mr_Lxs: 求指导 刚开始学习python~ 就遇到这么个网站。。。不知道如何入手了
@思仔: 不好意思我也不会Python的，之前遇到这个问题的，就是Python可以解决这个问题的。
@Mr_Lxs: 好的 谢啦 我再找找资料~
0
你去看这个网页的http请求 里面肯定会有异步操作 可能返回json数据 你按照它的http请求格式 直接访问 得到json数据
0
0
内网限制，你那个网站我打不开，我猜想你遇到的问题是动态JS涉及的内容你获取不到，是吧？如果是的话，需要找到那一块是哪个js在更新，找到了直接获取js所在的完整url即可。
0
（PowerShell中的）两只爬虫，两只爬虫，跑地快，爬网页不赖~~~
一只基于com版的ie，一只基于.net中的WebRequest类，都是老奶奶，不奇怪 。。。
给ie爬虫对象，发送n个page down ，即可模拟向下翻页， 专破懒加载内容。