2个文本文件hash值查重速度最快的方法

悬赏园豆：100 [待解决问题]

有2个文本文件，保存的都是hash值，1个文本文件有20万行数据，另1个文本文件有200万行数据，请问这个2文件查重最快的方法是什么？

dudu | 高人七级 | 园豆：31003
提问于：2020-03-20 21:44

< >

所有回答(3)

sort 和uniq 命令组合求交集
cat file1.txt file2.txt | sort | uniq -d > res.txt

天使不设防 | 园豆：204 (菜鸟二级) | 2020-03-21 17:47

文件内存映射

yytxdy | 园豆：1680 (小虾三级) | 2020-03-23 09:14

使用下面的 shell 命令耗时5秒

awk 'a[$0]++' data-200k.txt data-2m.txt | wc -l

dudu | 园豆：31003 (高人七级) | 2020-03-27 14:50

清除回答草稿

您需要登录以后才能回答，未注册用户请先注册。

欢迎，请先 登录 或者 注册 。