访问太频繁拒绝访问怎么办？

悬赏园豆：100 [已关闭问题] 关闭于 2010-12-06 10:41

小弟写了一个博客备份工具，在备份的过程中要对每篇博客地址进行访问，取得网页源码进行备份。
现在遇到的问题是，当备份到150篇左右时，网站拒绝访问了，也就是说访问太频繁被拒绝了，这个备份程序放在一个单独的类库中，请问怎么控制访问的频率（能不能用线程等待实现，如果能请指点一下），有没有其他好的解决方案？
简要代码如下：

using System;
using System.Collections.Generic;
using System.Linq;
using System.Text;
using System.IO;
using System.Net;
using System.Text.RegularExpressions;

namespace BlogMoveLib
{
    public class BlogAnalysis
    {
        public IList<Blog> Analysis(IList<string> BlogAllUrl)
        {
            string content;
            Blog model=new Blog();
            IList<Blog> blogList = new List<Blog>();
            foreach(string url in BlogAllUrl)
            {
                content=GetHtml(url);
                model = GetBlogInfo(content);
                blogList.Add(model);
            }
            if (blogList.Count > 0)
                return blogList;
            return null;
        }

        /// <summary>
        /// 获得网址原代码
        /// </summary>
        /// <param name="Url">网址</param>
        /// <returns>string</returns>
        private string GetHtml(string Url)
        {
         //过程省略
        }

        /// <summary>
        /// 解析博客主体
        /// </summary>
        /// <param name="content">网页源码</param>
        /// <returns>博客实体</returns>
        private Blog GetBlogInfo(string content)
        {
            //...过程省略
        }
    }
}

.NET技术 ASP.NET

问题补充： 通过冒用搜索引擎，本问题得到解决： Uri uri = new Uri(Url); HttpWebRequest request = (HttpWebRequest)WebRequest.Create(uri); request.Method = "GET"; request.AllowAutoRedirect = true; request.UserAgent = "Googlebot/2.1 (+http://www.google.com/bot.html)"; request.Referer = string.Concat("http://", uri.Host); HttpWebResponse response = (HttpWebResponse)request.GetResponse(); Stream streamReceive = response.GetResponseStream(); Encoding encoding = Encoding.UTF8; StreamReader streamReader = new StreamReader(streamReceive, encoding); strResult = streamReader.ReadToEnd();