awk 'NR==FNR{a[$1]++;next} a[$1] ' file1 file2

有关如何为多个文件执行此操作，请参阅跨多个文件查找匹配行的链接答案。

结合这两个答案(答案1和答案2)，我认为你可以得到你需要的结果，而不需要对文件进行排序:

#!/bin/bash
ans="matching_lines"

for file1 in *
do 
    for file2 in *
        do 
            if  [ "$file1" != "$ans" ] && [ "$file2" != "$ans" ] && [ "$file1" != "$file2" ] ; then
                echo "Comparing: $file1 $file2 ..." >> $ans
                perl -ne 'print if ($seen{$_} .= @ARGV) =~ /10$/' $file1 $file2 >> $ans
            fi
         done 
done

只需保存它，赋予它执行权限(chmod +x compareFiles.sh)并运行它。它将获取当前工作目录中的所有文件，并进行all-vs-all比较，将结果留在“matching_lines”文件中。

需要改进的地方:

跳过目录 避免将所有文件进行两次比较(file1 vs file2和file2 vs file1)。 可以在匹配的字符串旁边添加行号

awk 'NR==FNR{a[$1]++;next} a[$1] ' file1 file2

这不是你想问的，但我认为这对于描述一个稍微不同的场景还是有用的

如果你只是想快速确定一堆文件之间是否有重复的行，你可以使用这个快速解决方案:

cat a_bunch_of_files* | sort | uniq | wc

如果你得到的行数比你得到的少

cat a_bunch_of_files* | wc

然后是一些重复的线条。

在受限版本的Linux上(比如我正在开发的QNAP (NAS)):

Comm并不存在 正如@ChristopherSchultz所说，grep -f -f file1 file2可能会导致一些问题，使用grep -f -f file1 file2真的很慢(超过5分钟-没有完成-在超过20mb的文件上使用下面的方法超过2-3秒)

这就是我所做的:

sort file1 > file1.sorted
sort file2 > file2.sorted

diff file1.sorted file2.sorted | grep "<" | sed 's/^< *//' > files.diff
diff file1.sorted files.diff | grep "<" | sed 's/^< *//' > files.same.sorted

如果files.same.sorted应该与原始文件的顺序相同，那么添加这一行与file1的顺序相同:

awk 'FNR==NR {a[$0]=$0; next}; $0 in a {print a[$0]}' files.same.sorted file1 > files.same

或者，对于与file2相同的顺序:

awk 'FNR==NR {a[$0]=$0; next}; $0 in a {print a[$0]}' files.same.sorted file2 > files.same

为了补充Perl的一行代码，下面是它在awk中的等价代码:

awk 'NR==FNR{arr[$0];next} $0 in arr' file1 file2

这将把file1中的所有行读入数组arr[]，然后检查file2中的每一行是否已经存在于数组中(即file1)。找到的行将按照它们在file2中出现的顺序打印出来。 请注意，arr中的比较使用从file2开始的整行作为数组的索引，因此它只报告整行上的精确匹配。