首页 新闻 搜索 专区 学院

如何优化HashSet集合内存大小

0
悬赏园豆:10 [已解决问题] 解决于 2021-06-29 22:58

340+万条URL放在HashSet中 现在整个程序占用700+MB。预估有2千多万URL。。。因为是历史采集集合。除了放数据库还有其他方案吗

风吹落叶的主页 风吹落叶 | 初学一级 | 园豆:67
提问于:2021-02-07 23:00
< >
分享
最佳答案
0

md5 一下, 如果只是单纯的匹配.

还可以用domain 作为一级key, 分割成map<string,hashset<string>>, 二级结构

或者还可以用一个布隆过滤器来做这个事情

收获园豆:10
czd890 | 专家六级 |园豆:12877 | 2021-02-08 17:21
其他回答(1)
0

用来干啥的啊,放内存里干啥

yytxdy | 园豆:1680 (小虾三级) | 2021-02-08 09:11
清除回答草稿
   您需要登录以后才能回答,未注册用户请先注册