使用split怎么样?

man csplit
csplit -k file 1 '{1}'

因为听起来我不能加快删除，我认为一个好的方法可能是像这样批量处理文件:

While file1 not empty
  file2 = head -n1000 file1
  process file2
  sed -i -e "1000d" file1
end

这样做的缺点是，如果程序在中间被杀死(或者如果其中有一些糟糕的sql -导致“进程”部分死亡或锁定)，将会有行被跳过，或者被处理两次。

(file1包含SQL代码行)

这一行代码可以做到:

echo "$(tail -n +2 "$FILE")" > "$FILE"

它可以工作，因为tail在echo之前执行，然后文件被解锁，因此不需要临时文件。

你可以编辑文件:使用perl的-i标志，像这样:

perl -ni -e 'print unless $. == 1' filename.txt

这将使第一行消失。Perl将需要读取和复制整个文件，但是它会将输出保存在原始文件的名称下。

基于其他3个答案，我想出了这个语法，在我的Mac OSx bash shell中完美地工作:

Line =$(head -n1 list.txt && echo "$(tail -n +2 list.txt)"> list.txt)

测试用例:

~> printf "Line #%2d\n" {1..3} > list.txt
~> cat list.txt
Line # 1
Line # 2
Line # 3
~> line=$(head -n1 list.txt && echo "$(tail -n +2 list.txt)" > list.txt)
~> echo $line
Line # 1
~> cat list.txt
Line # 2
Line # 3

不，这是你能得到的最高效率。您可以编写一个C程序，它可以更快地完成这项工作(更少的启动时间和处理参数)，但随着文件变大，它可能会趋向于与sed相同的速度(如果需要一分钟，我就假定它们很大)。

但是你的问题和其他问题一样，都是以解决方案为前提的。如果你能详细地告诉我们你正在尝试做什么，而不是如何做，我们可能会提出一个更好的选择。

例如，如果这是一个由其他程序B处理的文件a，一种解决方案是不去掉第一行，而是修改程序B以不同的方式处理它。

假设您的所有程序都附加到这个文件A，程序B当前在删除它之前读取并处理第一行。

您可以重新设计程序B，这样它就不会试图删除第一行，而是在文件a中维护一个持久的(可能是基于文件的)偏移量，以便下次运行时，它可以查找该偏移量，处理那里的行，并更新偏移量。

然后，在一个安静的时间(午夜?)，它可以对文件a进行特殊处理，删除当前处理的所有行，并将偏移量设置为0。

对于程序来说，打开并查找文件肯定比打开并重写要快。当然，这个讨论假设您可以控制程序B。我不知道是不是这样，但如果你提供进一步的信息，也许还有其他可能的解决方案。