首页 新闻 会员 周边 捐助
3
回答数

待解决问题 200 C# 多线程爬虫任务怎么分配?

网页爬虫,用户输入一批网址加入未爬取队列,多线程进行爬取。提取网页里的链接又加入到未爬取队列。循环往复。那我的运行逻辑是使用并发集合ConcurrentQueue,开启线程循环取任务,访问网址提取源码