在shell脚本中从文件中读取随机行有什么简单的方法?


当前回答

以下是我的发现,因为我的Mac OS不使用所有简单的答案。我使用jot命令来生成一个数字,因为$RANDOM变量解决方案在我的测试中似乎不是很随机。当测试我的解决方案时,我在输出中提供的解决方案中有很大的差异。

  RANDOM1=`jot -r 1 1 235886`
   #range of jot ( 1 235886 ) found from earlier wc -w /usr/share/dict/web2
   echo $RANDOM1
   head -n $RANDOM1 /usr/share/dict/web2 | tail -n 1

变量的回声是为了得到生成的随机数的视觉效果。

其他回答

以下是我的发现,因为我的Mac OS不使用所有简单的答案。我使用jot命令来生成一个数字,因为$RANDOM变量解决方案在我的测试中似乎不是很随机。当测试我的解决方案时,我在输出中提供的解决方案中有很大的差异。

  RANDOM1=`jot -r 1 1 235886`
   #range of jot ( 1 235886 ) found from earlier wc -w /usr/share/dict/web2
   echo $RANDOM1
   head -n $RANDOM1 /usr/share/dict/web2 | tail -n 1

变量的回声是为了得到生成的随机数的视觉效果。

使用bash脚本:

#!/bin/bash
# replace with file to read
FILE=tmp.txt
# count number of lines
NUM=$(wc - l < ${FILE})
# generate random number in range 0-NUM
let X=${RANDOM} % ${NUM} + 1
# extract X-th line
sed -n ${X}p ${FILE}

只使用普通sed和awk,不使用$RANDOM,一个简单、节省空间和合理快速的“一行程序”可以从文件名FILENAME中伪随机地选择一行,如下所示:

sed -n $(awk 'END {srand(); r=rand()*NR; if (r<NR) {sub(/\..*/,"",r); r++;}; print r}' FILENAME)p FILENAME

(即使FILENAME为空也能工作,在这种情况下不会触发任何行。)

这种方法的一个可能的优点是它只调用rand()一次。

正如@AdamKatz在评论中指出的,另一种可能是为每一行调用rand():

awk 'rand() * NR < 1 { line = $0 } END { print line }' FILENAME

(基于归纳法可以给出简单的正确性证明。)

关于rand的警告()

在大多数awk实现中,包括gawk, rand()每次运行awk时都从相同的起始数字或种子开始生成数字。

——https://www.gnu.org/software/gawk/manual/html_node/Numeric-Functions.html

另一种使用awk的方法

awk NR==$((${RANDOM} % `wc -l < file.name` + 1)) file.name

你可以使用shuf:

shuf -n 1 $FILE

还有一个实用程序叫做rl。在Debian中,它是在随机行包中,尽管不是在所有发行版中都可用,但它确实是你想要的。在它的主页上,它实际上推荐使用shuf(我相信它创建时还不存在)。shuf是GNU coreutils的一部分,rl不是。

rl -c 1 $FILE