如何在Unix命令行或shell脚本中打乱文本文件的行?

我想随机洗牌文本文件的行，并创建一个新文件。该文件可能有几千行。

我如何用cat, awk, cut等做到这一点?

当前回答

我使用了一个小perl脚本，我称之为“unsort”:

#!/usr/bin/perl
use List::Util 'shuffle';
@list = <STDIN>;
print shuffle(@list);

我也有一个null分隔的版本，称为“unsort0”…方便使用find -print0等。

PS:我也投票给了“shuf”，我不知道现在coreutils有这个词……如果您的系统没有'shuf'，上述方法可能仍然有用。

其他回答

这是第一次尝试，对编码器来说很容易，但对CPU来说很难，它在每行前加上一个随机数，对它们进行排序，然后从每行中剥离随机数。实际上，这些行是随机排序的:

cat myfile | awk 'BEGIN{srand();}{print rand()"\t"$0}' | sort -k1 -n | cut -f2- > myfile.shuffled

python的一行代码:

python -c "import random, sys; lines = open(sys.argv[1]).readlines(); random.shuffle(lines); print ''.join(lines)," myFile

如果只打印单个随机行:

python -c "import random, sys; print random.choice(open(sys.argv[1]).readlines())," myFile

但是请参阅这篇文章了解python的random.shuffle()的缺点。它不能很好地处理很多(超过2080个)元素。

在windows下，您可以尝试此批处理文件来帮助您洗牌data.txt，批处理代码的用法是

C:\> type list.txt | shuffle.bat > maclist_temp.txt

发出这个命令后，maclist_temp.txt将包含一个随机的行列表。

希望这能有所帮助。

你可以使用洗牌。至少在某些系统上(似乎不在POSIX中)。

正如jleedev指出的:sort -R可能也是一个选项。至少在某些系统上;好吧，你懂的。已经指出sort -R并不真正洗牌，而是根据项的哈希值进行排序。

[编者注:sort -R几乎是洗牌，除了重复的行/排序键总是彼此挨着。换句话说:只有唯一的输入行/键才是真正的shuffle。虽然输出顺序确实是由哈希值决定的，但随机性来自于选择随机哈希函数-参见手册。

我使用了一个小perl脚本，我称之为“unsort”:

#!/usr/bin/perl
use List::Util 'shuffle';
@list = <STDIN>;
print shuffle(@list);

我也有一个null分隔的版本，称为“unsort0”…方便使用find -print0等。

PS:我也投票给了“shuf”，我不知道现在coreutils有这个词……如果您的系统没有'shuf'，上述方法可能仍然有用。

推荐文章