首页 新闻 会员 周边

HttpWebRequest抓取网络数据报403错误!遇到的朋友帮帮忙!

0
[已关闭问题] 关闭于 2015-04-13 17:46

以下是代码:(注:以下的代码之前一直用着好好的(抓取丫丫手机网上面的数据),但是某天突然就用不了,报:远程服务器返回错误: (403) 已禁止。错误。我怀疑是丫丫手机网做了什么防护措施,但是,这只是我的猜测,没有凭据。希望知道怎么回事的高手赐教。谢谢!对了,用浏览器是能打开url的。

 public static string GetRequestByUrl(string urlstring encode)
        {
            string result = string.Empty;
            Stream dataStream = nullHttpWebRequest response = nullStreamReader reader = null;
            try
            {
                response = (HttpWebRequest)HttpWebRequest.Create(url);
                HttpWebResponse wrse = (HttpWebResponse)response.GetResponse();
                dataStream = wrse.GetResponseStream();
                reader = new StreamReader(dataStreamEncoding.GetEncoding(encode));
                result = reader.ReadToEnd();
                dataStream.Close();
                reader.Close();
            }
            catch (Exception ex)
            {
                result = "error";
            }
            return returnNewStr(result);
        }
ydpC#的主页 ydpC# | 初学一级 | 园豆:183
提问于:2015-04-09 17:45
< >
分享
所有回答(2)
0

你这代码太简单了, 要模拟下用户去抓取

问天何必 | 园豆:3311 (老鸟四级) | 2015-04-10 09:44

我模拟过了 还是 不行啊,还试过ip代理啥的 

支持(0) 反对(0) ydpC# | 园豆:183 (初学一级) | 2015-04-10 10:16

这个代码之前一直用着好好的。抓取京东上面的数据也能抓取就是 丫丫上面的现在抓不到了 之前是可以的  是不是丫丫做了什么防护 我要怎么判断 他们做了防护做了什么防护呢。

支持(0) 反对(0) ydpC# | 园豆:183 (初学一级) | 2015-04-10 10:18
0

自己解决了加了个代理,就可以了。

ydpC# | 园豆:183 (初学一级) | 2015-04-13 17:45

大哥,什么代理,我现在也是一样的情况 ,抓了几页面数据,然后直接返回HTML为空了

支持(0) 反对(0) Ryan407 | 园豆:204 (菜鸟二级) | 2016-07-27 17:12
清除回答草稿
   您需要登录以后才能回答,未注册用户请先注册