如何优化HashSet集合内存大小

悬赏园豆：10 [已解决问题] 解决于 2021-06-29 22:58

340+万条URL放在HashSet中现在整个程序占用700+MB。预估有2千多万URL。。。因为是历史采集集合。除了放数据库还有其他方案吗

风吹落叶 | 初学一级 | 园豆：67
提问于：2021-02-07 23:00

< >

最佳答案

md5 一下, 如果只是单纯的匹配.

还可以用domain 作为一级key, 分割成map<string,hashset<string>>, 二级结构

或者还可以用一个布隆过滤器来做这个事情

收获园豆：10

czd890 | 专家六级 |园豆：14488 | 2021-02-08 17:21

其他回答(1)

用来干啥的啊，放内存里干啥

yytxdy | 园豆：1680 (小虾三级) | 2021-02-08 09:11

清除回答草稿

您需要登录以后才能回答，未注册用户请先注册。

欢迎，请先 登录 或者 注册 。