首页 新闻 搜索 专区 学院

2个文本文件hash值查重速度最快的方法

0
悬赏园豆:100 [待解决问题]

有2个文本文件,保存的都是hash值,1个文本文件有20万行数据,另1个文本文件有200万行数据,请问这个2文件查重最快的方法是什么?

dudu的主页 dudu | 高人七级 | 园豆:37128
提问于:2020-03-20 21:44
< >
分享
所有回答(3)
0

sort 和uniq 命令组合求交集
cat file1.txt file2.txt | sort | uniq -d > res.txt

天使不设防 | 园豆:204 (菜鸟二级) | 2020-03-21 17:47
0

文件内存映射

yytxdy | 园豆:1680 (小虾三级) | 2020-03-23 09:14
0

使用下面的 shell 命令耗时5秒

awk 'a[$0]++' data-200k.txt data-2m.txt | wc -l
dudu | 园豆:37128 (高人七级) | 2020-03-27 14:50
清除回答草稿
   您需要登录以后才能回答,未注册用户请先注册