如何使用Bash遍历文本文件的每一行?

使用此脚本:

echo "Start!"
for p in (peptides.txt)
do
    echo "${p}"
done

我在屏幕上看到这个输出:

Start!
./runPep.sh: line 3: syntax error near unexpected token `('
./runPep.sh: line 3: `for p in (peptides.txt)'

(后来我想用$p做一些比输出到屏幕更复杂的事情。)


环境变量SHELL是(来自env):

SHELL=/bin/bash

/bin/bash—版本输出:

GNU bash, version 3.1.17(1)-release (x86_64-suse-linux-gnu)
Copyright (C) 2005 Free Software Foundation, Inc.

cat/proc/version输出:

Linux version 2.6.18.2-34-default (geeko@buildhost) (gcc version 4.1.2 20061115 (prerelease) (SUSE Linux)) #1 SMP Mon Nov 27 11:46:27 UTC 2006

peptides.txt文件包含:

RKEKNVQ
IPKKLLQK
QYFHQLEKMNVK
IPKKLLQK
GDLSTALEVAIDCYEK
QYFHQLEKMNVKIPENIYR
RKEKNVQ
VLAKHGKLQDAIN
ILGFMK
LEDVALQILL

当前回答

@彼得:这可能对你有用-

echo "Start!";for p in $(cat ./pep); do
echo $p
done

这将返回输出-

Start!
RKEKNVQ
IPKKLLQK
QYFHQLEKMNVK
IPKKLLQK
GDLSTALEVAIDCYEK
QYFHQLEKMNVKIPENIYR
RKEKNVQ
VLAKHGKLQDAIN
ILGFMK
LEDVALQILL

其他回答

@彼得:这可能对你有用-

echo "Start!";for p in $(cat ./pep); do
echo $p
done

这将返回输出-

Start!
RKEKNVQ
IPKKLLQK
QYFHQLEKMNVK
IPKKLLQK
GDLSTALEVAIDCYEK
QYFHQLEKMNVKIPENIYR
RKEKNVQ
VLAKHGKLQDAIN
ILGFMK
LEDVALQILL

还有一些其他答案没有涵盖的问题:

从分隔文件读取

# ':' is the delimiter here, and there are three fields on each line in the file
# IFS set below is restricted to the context of `read`, it doesn't affect any other code
while IFS=: read -r field1 field2 field3; do
  # process the fields
  # if the line has less than three fields, the missing fields will be set to an empty string
  # if the line has more than three fields, `field3` will get all the values, including the third field plus the delimiter(s)
done < input.txt

使用进程替换从另一个命令的输出读取

while read -r line; do
  # process the line
done < <(command ...)

这种方法优于命令…|同时读取-r行;做因为while循环在当前shell中运行,而不是像后者那样在子shell中运行。请参阅相关文章。在while循环内修改的变量不会被记住。

正在从空分隔输入读取,例如find-打印0

while read -r -d '' line; do
  # logic
  # use a second 'read ... <<< "$line"' if we need to tokenize the line
done < <(find /path/to/dir -print0)

相关阅读:BashFAQ/020-如何查找和安全处理包含换行符、空格或两者的文件名?

一次读取多个文件

while read -u 3 -r line1 && read -u 4 -r line2; do
  # process the lines
  # note that the loop will end when we reach EOF on either of the files, because of the `&&`
done 3< input1.txt 4< input2.txt

根据@chepner的回答:

-u是bash扩展。对于POSIX兼容性,每个调用看起来都像read-rX<&3。

将整个文件读入数组(Bash版本早于4)

while read -r line; do
    my_array+=("$line")
done < my_file

如果文件以不完整的行结尾(末尾缺少换行符),则:

while read -r line || [[ $line ]]; do
    my_array+=("$line")
done < my_file

将整个文件读取到阵列中(Bash版本4x及更高版本)

readarray -t my_array < my_file

or

mapfile -t my_array < my_file

然后

for line in "${my_array[@]}"; do
  # process the lines
done

有关shell内置read和readarray命令的更多信息-GNU关于IFS的更多信息-维基百科BashFAQ/001-如何逐行(和/或逐字段)读取文件(数据流、变量)?

相关帖子:

在Bash中从文本文件创建数组两种读取只有一行的文件的方法有什么区别?与猫相比,在读取循环时猛击速度非常慢,为什么?

我喜欢使用xargs而不是while。xargs功能强大,命令行友好

cat peptides.txt | xargs-I%sh-c“echo%”

使用xargs,还可以使用-t添加详细信息,使用-p添加验证

使用while循环,如下所示:

while IFS= read -r line; do
   echo "$line"
done <file

笔记:

如果不正确设置IFS,将丢失缩进。您几乎应该始终在read中使用-r选项。不读取带有for的行

一种方法是:

while read p; do
  echo "$p"
done <peptides.txt

正如评论中所指出的,这会产生如下副作用:删除前导空格,解释反斜杠序列,如果缺少终止换行符,则跳过最后一行。如果存在这些问题,您可以:

while IFS="" read -r p || [ -n "$p" ]
do
  printf '%s\n' "$p"
done < peptides.txt

例外情况下,如果循环体可以从标准输入读取,则可以使用不同的文件描述符打开文件:

while read -u 10 p; do
  ...
done 10<peptides.txt

这里,10只是一个任意数(不同于0、1、2)。