我需要使用bash脚本从一个巨大的文本文件中反复删除第一行。
现在我正在使用sed - I -e "1d" $FILE -但它需要大约一分钟的时间来删除。
有没有更有效的方法来实现这个目标?
当前回答
可以使用vim这样做:
vim -u NONE +'1d' +'wq!' /tmp/test.txt
这应该更快，因为vim在处理时不会读取整个文件。
其他回答
你可以很容易地做到这一点:
cat filename | sed 1d > filename_without_first_line
在命令行上;或者要永久删除文件的第一行，使用sed的in-place模式，并带-i标志:
sed -i 1d <filename>
使用split怎么样?
man csplit
csplit -k file 1 '{1}'
试着尾巴:
tail -n +2 "$FILE"
-n x:只打印最后x行。Tail - n5表示输入的最后5行。+号有点颠倒了参数，使tail打印除第一个x-1行以外的任何内容。尾部-n +1输出整个文件，尾部-n +2输出除第一行以外的所有内容，等等。
GNU tail比sed快得多。tail在BSD上也可用，并且-n +2标志在这两个工具中是一致的。查看FreeBSD或OS X手册页了解更多信息。
不过，BSD版本可能比sed慢得多。我不知道他们是怎么做到的;Tail应该只是逐行读取文件，而sed则执行相当复杂的操作，包括解释脚本、应用正则表达式等。
注意:您可能会忍不住使用
# THIS WILL GIVE YOU AN EMPTY FILE!
tail -n +2 "$FILE" > "$FILE"
但这将给您一个空文件。原因是重定向(>)发生在shell调用tail之前:
Shell截断文件$ file Shell为tail创建一个新进程 Shell将尾部进程的stdout重定向到$FILE tail从现在空的$FILE中读取
如果你想删除文件中的第一行，你应该使用:
tail -n +2 "$FILE" > "$FILE.tmp" && mv "$FILE.tmp" "$FILE"
&&将确保当出现问题时文件不会被覆盖。
海绵util避免了对临时文件的杂耍:
tail -n +2 "$FILE" | sponge "$FILE"
在N-1行上使用tail并将其定向到一个文件中，然后删除旧文件，并将新文件重命名为旧名称，这样做可以吗?
如果我以编程方式执行此操作，我将读取文件，并在读取每一行后记住文件偏移量，因此我可以查找回该位置以读取文件中少一行的文件。
