我需要使用bash脚本从一个巨大的文本文件中反复删除第一行。

现在我正在使用sed - I -e "1d" $FILE -但它需要大约一分钟的时间来删除。

有没有更有效的方法来实现这个目标?


当前回答

海绵util避免了对临时文件的杂耍:

tail -n +2 "$FILE" | sponge "$FILE"

其他回答

因为听起来我不能加快删除,我认为一个好的方法可能是像这样批量处理文件:

While file1 not empty
  file2 = head -n1000 file1
  process file2
  sed -i -e "1000d" file1
end

这样做的缺点是,如果程序在中间被杀死(或者如果其中有一些糟糕的sql -导致“进程”部分死亡或锁定),将会有行被跳过,或者被处理两次。

(file1包含SQL代码行)

你可以编辑文件:使用perl的-i标志,像这样:

perl -ni -e 'print unless $. == 1' filename.txt

这将使第一行消失。Perl将需要读取和复制整个文件,但是它会将输出保存在原始文件的名称下。

应该显示除第一行以外的其他行:

cat textfile.txt | tail -n +2

这一行代码可以做到:

echo "$(tail -n +2 "$FILE")" > "$FILE"

它可以工作,因为tail在echo之前执行,然后文件被解锁,因此不需要临时文件。

在N-1行上使用tail并将其定向到一个文件中,然后删除旧文件,并将新文件重命名为旧名称,这样做可以吗?

如果我以编程方式执行此操作,我将读取文件,并在读取每一行后记住文件偏移量,因此我可以查找回该位置以读取文件中少一行的文件。