首页 新闻 会员 周边 捐助
3
回答数

已解决问题 20 分布式爬虫如何url去重？

最近刚接触网络爬虫，写到分布式爬虫的url去重的时候感到很疑惑，网上看到的HashSet、MD5和BloomFilter都是单机上的，集群中难道只能用分布式数据库来检索？还有其他的好办法么，或者已经成
GISVito的主页 GISVito
浏览(2299) 8年前