如何使用bash/sed脚本删除文本文件的第一行?

我需要使用bash脚本从一个巨大的文本文件中反复删除第一行。

现在我正在使用sed - I -e "1d" $FILE -但它需要大约一分钟的时间来删除。

有没有更有效的方法来实现这个目标?

当前回答

试着尾巴:

tail -n +2 "$FILE"

-n x:只打印最后x行。Tail - n5表示输入的最后5行。+号有点颠倒了参数，使tail打印除第一个x-1行以外的任何内容。尾部-n +1输出整个文件，尾部-n +2输出除第一行以外的所有内容，等等。

GNU tail比sed快得多。tail在BSD上也可用，并且-n +2标志在这两个工具中是一致的。查看FreeBSD或OS X手册页了解更多信息。

不过，BSD版本可能比sed慢得多。我不知道他们是怎么做到的;Tail应该只是逐行读取文件，而sed则执行相当复杂的操作，包括解释脚本、应用正则表达式等。

注意:您可能会忍不住使用

# THIS WILL GIVE YOU AN EMPTY FILE!
tail -n +2 "$FILE" > "$FILE"

但这将给您一个空文件。原因是重定向(>)发生在shell调用tail之前:

Shell截断文件$ file Shell为tail创建一个新进程 Shell将尾部进程的stdout重定向到$FILE tail从现在空的$FILE中读取

如果你想删除文件中的第一行，你应该使用:

tail -n +2 "$FILE" > "$FILE.tmp" && mv "$FILE.tmp" "$FILE"

&&将确保当出现问题时文件不会被覆盖。

其他回答

如果您要做的是在失败后恢复，那么您可以构建一个包含迄今为止所做的工作的文件。

if [[ -f $tmpf ]] ; then
    rm -f $tmpf
fi
cat $srcf |
    while read line ; do
        # process line
        echo "$line" >> $tmpf
    done

你可以很容易地做到这一点:

cat filename | sed 1d > filename_without_first_line

在命令行上;或者要永久删除文件的第一行，使用sed的in-place模式，并带-i标志:

sed -i 1d <filename>

海绵util避免了对临时文件的杂耍:

tail -n +2 "$FILE" | sponge "$FILE"

应该显示除第一行以外的其他行:

cat textfile.txt | tail -n +2

如果你想修改文件，你总是可以使用原始的ed，而不是它的流继承者sed:

ed "$FILE" <<<$'1d\nwq\n'

ed命令是最初的UNIX文本编辑器，当时还没有全屏终端，更不用说图形工作站了。ex编辑器，就是在vi中键入冒号提示符时所使用的编辑器，是ed的扩展版本，因此许多相同的命令都可以工作。虽然ed是用于交互的，但它也可以通过发送一串命令以批处理模式使用，这就是这个解决方案所做的。

序列<<<$'1d\nwq\n'利用了现代shell对here-strings(<<<)和ANSI引号($'…')的支持，将输入提供给由两行组成的ed命令:1d删除第一行，然后wq将文件写回磁盘，然后退出编辑会话。

推荐文章