首页新闻找找看学习计划

如何使用c# sharppcap获取打开网址的html内容

0
悬赏园豆:10 [已解决问题] 解决于 2015-10-13 10:49

我要抓取一个网页的html,但是那个网站的屏蔽比较严重,连用iframe都会屏蔽,控制台用ajax获取内容也会屏蔽,无奈想通过抓包来抓取数据,程序调用浏览器打开对应网址来获取html,发现fiddler这个工具居然可以截获http请求的内容,不知道这个功能是怎么实现的,网站找了下说sharppcap可以实现,就是不知道是怎么实现的,还有用webbrowser也会屏蔽,不知道是用了什么牛逼的代码,如果你有更好的抓数据的方式也可以提供下

我本来想调用浏览器打开一个网址并将打开的网址保存成html文件,但是没有现成的,抓取数据仅用于学习使用,急急急

sixserve的主页 sixserve | 初学一级 | 园豆:17
提问于:2015-10-12 09:43
< >
分享
最佳答案
0

试试.net WebRequest类,参考链接WebRequest Class

收获园豆:10
jackccc | 小虾三级 |园豆:1341 | 2015-10-12 10:09

这是一开始的方案,早就被屏蔽了

sixserve | 园豆:17 (初学一级) | 2015-10-12 11:25

@sixserve: 网址贴出来

iImax | 园豆:3138 (老鸟四级) | 2015-10-12 13:37

@iImax: 学校内部网络,外面没法访问~

sixserve | 园豆:17 (初学一级) | 2015-10-12 13:53

@sixserve: 不提供详情,无法回答。

1.iframe时,会有什么现象?
2.webbrowser时,有什么输出?

iImax | 园豆:3138 (老鸟四级) | 2015-10-12 13:58

@iImax: iframe和webbrowser都是空白,我在控制台用js跨域采集数据,暂时解决了

sixserve | 园豆:17 (初学一级) | 2015-10-13 10:49
清除回答草稿
   您需要登录以后才能回答,未注册用户请先注册