我确信我曾经发现过一个shell命令,它可以从两个或多个文件中打印公共行。它叫什么名字?
它比diff简单多了。
我确信我曾经发现过一个shell命令,它可以从两个或多个文件中打印公共行。它叫什么名字?
它比diff简单多了。
当前回答
在受限版本的Linux上(比如我正在开发的QNAP (NAS)):
Comm并不存在 正如@ChristopherSchultz所说,grep -f -f file1 file2可能会导致一些问题,使用grep -f -f file1 file2真的很慢(超过5分钟-没有完成-在超过20mb的文件上使用下面的方法超过2-3秒)
这就是我所做的:
sort file1 > file1.sorted
sort file2 > file2.sorted
diff file1.sorted file2.sorted | grep "<" | sed 's/^< *//' > files.diff
diff file1.sorted files.diff | grep "<" | sed 's/^< *//' > files.same.sorted
如果files.same.sorted应该与原始文件的顺序相同,那么添加这一行与file1的顺序相同:
awk 'FNR==NR {a[$0]=$0; next}; $0 in a {print a[$0]}' files.same.sorted file1 > files.same
或者,对于与file2相同的顺序:
awk 'FNR==NR {a[$0]=$0; next}; $0 in a {print a[$0]}' files.same.sorted file2 > files.same
其他回答
这不是你想问的,但我认为这对于描述一个稍微不同的场景还是有用的
如果你只是想快速确定一堆文件之间是否有重复的行,你可以使用这个快速解决方案:
cat a_bunch_of_files* | sort | uniq | wc
如果你得到的行数比你得到的少
cat a_bunch_of_files* | wc
然后是一些重复的线条。
在受限版本的Linux上(比如我正在开发的QNAP (NAS)):
Comm并不存在 正如@ChristopherSchultz所说,grep -f -f file1 file2可能会导致一些问题,使用grep -f -f file1 file2真的很慢(超过5分钟-没有完成-在超过20mb的文件上使用下面的方法超过2-3秒)
这就是我所做的:
sort file1 > file1.sorted
sort file2 > file2.sorted
diff file1.sorted file2.sorted | grep "<" | sed 's/^< *//' > files.diff
diff file1.sorted files.diff | grep "<" | sed 's/^< *//' > files.same.sorted
如果files.same.sorted应该与原始文件的顺序相同,那么添加这一行与file1的顺序相同:
awk 'FNR==NR {a[$0]=$0; next}; $0 in a {print a[$0]}' files.same.sorted file1 > files.same
或者,对于与file2相同的顺序:
awk 'FNR==NR {a[$0]=$0; next}; $0 in a {print a[$0]}' files.same.sorted file2 > files.same
你要找的命令是通讯
comm -12 1.sorted.txt 2.sorted.txt
在这里:
-1:删除列1 (1.sort .txt中唯一的行)
-2:删除列2 (2.sort .txt中唯一的行)
也许你指的是通讯?
逐行比较排序文件FILE1和FILE2。 在没有选项的情况下,生成三列输出。列一个 包含FILE1列特有的行 Two包含唯一的行 FILE2和第三列包含两个文件的公共行。
找到这些信息的秘密是信息页。对于GNU程序,它们比手册页要详细得多。尝试info coreutils,它会列出所有有用的小utils。
perl -ne 'print if ($seen{$_} .= @ARGV) =~ /10$/' file1 file2