如何使用bash/sed脚本删除文本文件的第一行?

我需要使用bash脚本从一个巨大的文本文件中反复删除第一行。

现在我正在使用sed - I -e "1d" $FILE -但它需要大约一分钟的时间来删除。

有没有更有效的方法来实现这个目标?

当前回答

使用split怎么样?

man csplit
csplit -k file 1 '{1}'

其他回答

在N-1行上使用tail并将其定向到一个文件中，然后删除旧文件，并将新文件重命名为旧名称，这样做可以吗?

如果我以编程方式执行此操作，我将读取文件，并在读取每一行后记住文件偏移量，因此我可以查找回该位置以读取文件中少一行的文件。

使用split怎么样?

man csplit
csplit -k file 1 '{1}'

你可以编辑文件:使用perl的-i标志，像这样:

perl -ni -e 'print unless $. == 1' filename.txt

这将使第一行消失。Perl将需要读取和复制整个文件，但是它会将输出保存在原始文件的名称下。

正如帕克斯所说，你可能不会比这更快。原因是几乎没有文件系统支持从文件的开头截断，所以这将是一个O(n)操作，其中n是文件的大小。不过，您可以更快地做的是用相同数量的字节(可能是空格或注释)覆盖第一行，这可能对您有用，具体取决于您正在尝试做什么(顺便说一下，这是什么?)

如果您要做的是在失败后恢复，那么您可以构建一个包含迄今为止所做的工作的文件。

if [[ -f $tmpf ]] ; then
    rm -f $tmpf
fi
cat $srcf |
    while read line ; do
        # process line
        echo "$line" >> $tmpf
    done

推荐文章