首页 新闻 会员 周边 捐助

数据采集的流程是什么?

0
[已解决问题] 解决于 2011-01-10 14:08

请各位大哥帮帮忙。   最好有源码。能讲解一下。

问题补充: 这个代码,我知道,但是怎么处理字符串呢?这个流程我都知道,那那些只能的数据抓取器是怎么弄的呢?
迪奥的主页 迪奥 | 菜鸟二级 | 园豆:202
提问于:2011-01-05 14:06
< >
分享
最佳答案
0

public string GetPage(string strURL)
{
string strResult = "";
HttpWebRequest request
= (HttpWebRequest)WebRequest.Create(strURL);

HttpWebResponse response
= (HttpWebResponse)request.GetResponse();
StreamReader sr
= new StreamReader(response.GetResponseStream(), Encoding.UTF8);

strResult
= sr.ReadToEnd();

sr.Close();
response.Close();

return strResult;
}

 

上面是采集网页时用到的核心代码

hailibu | 初学一级 |园豆:189 | 2011-01-05 15:58
其实我想问的不是这个意思,我想弄一个智能化的字符串处理。
迪奥 | 园豆:202 (菜鸟二级) | 2011-01-10 14:10
其他回答(2)
0

利用HttpWebRequest获取远程URL的内容,然后利用正则对想要的内容进行抓取。

Astar | 园豆:40805 (高人七级) | 2011-01-07 16:09
还有你的,难道,我每一次抓取,都要重新配置 正则? 要想要的是一个智能的正则。
支持(0) 反对(0) 迪奥 | 园豆:202 (菜鸟二级) | 2011-01-10 14:11
0
wangzsky | 园豆:350 (菜鸟二级) | 2011-01-22 14:00
清除回答草稿
   您需要登录以后才能回答,未注册用户请先注册