以下是代码:(注:以下的代码之前一直用着好好的(抓取丫丫手机网上面的数据),但是某天突然就用不了,报:远程服务器返回错误: (403) 已禁止。错误。我怀疑是丫丫手机网做了什么防护措施,但是,这只是我的猜测,没有凭据。希望知道怎么回事的高手赐教。谢谢!对了,用浏览器是能打开url的。)
public static string GetRequestByUrl(string url, string encode) { string result = string.Empty; Stream dataStream = null; HttpWebRequest response = null; StreamReader reader = null; try { response = (HttpWebRequest)HttpWebRequest.Create(url); HttpWebResponse wrse = (HttpWebResponse)response.GetResponse(); dataStream = wrse.GetResponseStream(); reader = new StreamReader(dataStream, Encoding.GetEncoding(encode)); result = reader.ReadToEnd(); dataStream.Close(); reader.Close(); } catch (Exception ex) { result = "error"; } return returnNewStr(result); }
你这代码太简单了, 要模拟下用户去抓取
我模拟过了 还是 不行啊,还试过ip代理啥的
这个代码之前一直用着好好的。抓取京东上面的数据也能抓取就是 丫丫上面的现在抓不到了 之前是可以的 是不是丫丫做了什么防护 我要怎么判断 他们做了防护做了什么防护呢。
自己解决了加了个代理,就可以了。
大哥,什么代理,我现在也是一样的情况 ,抓了几页面数据,然后直接返回HTML为空了