在文件中找到重复的行，并计算每一行重复了多少次?

假设我有一个类似于下面的文件:

我想知道123被复制了多少次，234被复制了多少次，等等。所以理想情况下，输出应该是这样的:

123  3 
234  2 
345  1

当前回答

假设你可以访问一个标准的Unix shell和/或cygwin环境:

tr -s ' ' '\n' < yourfile | sort | uniq -d -c
       ^--space char

基本上:将所有空格字符转换为换行符，然后对转换后的输出进行排序并将其提供给uniq并计数重复的行。

其他回答

假设每行有一个数字:

sort <file> | uniq -c

你也可以在GNU版本中使用更详细的计数标志，例如在Linux上:

sort <file> | uniq --count

在Windows中，使用“Windows PowerShell”，我使用下面提到的命令来实现这一点

Get-Content .\file.txt | Group-Object | Select Name, Count

此外，我们还可以使用where-object Cmdlet来过滤结果

Get-Content .\file.txt | Group-Object | Where-Object { $_.Count -gt 1 } | Select Name, Count

假设你可以访问一个标准的Unix shell和/或cygwin环境:

tr -s ' ' '\n' < yourfile | sort | uniq -d -c
       ^--space char

基本上:将所有空格字符转换为换行符，然后对转换后的输出进行排序并将其提供给uniq并计数重复的行。

要查找和计数多个文件中的重复行，您可以尝试以下命令:

sort <files> | uniq -c | sort -nr

or:

cat <files> | sort | uniq -c | sort -nr

要查找重复的计数，使用这个命令:

sort filename | uniq -c | awk '{print $2, $1}'

推荐文章