我需要使用bash脚本从一个巨大的文本文件中反复删除第一行。
现在我正在使用sed - I -e "1d" $FILE -但它需要大约一分钟的时间来删除。
有没有更有效的方法来实现这个目标?
当前回答
海绵util避免了对临时文件的杂耍:
tail -n +2 "$FILE" | sponge "$FILE"
其他回答
如果您要做的是在失败后恢复，那么您可以构建一个包含迄今为止所做的工作的文件。
if [[ -f $tmpf ]] ; then
rm -f $tmpf
fi
cat $srcf |
while read line ; do
# process line
echo "$line" >> $tmpf
done
这一行代码可以做到:
echo "$(tail -n +2 "$FILE")" > "$FILE"
它可以工作，因为tail在echo之前执行，然后文件被解锁，因此不需要临时文件。
基于其他3个答案，我想出了这个语法，在我的Mac OSx bash shell中完美地工作:
Line =$(head -n1 list.txt && echo "$(tail -n +2 list.txt)"> list.txt)
测试用例:
~> printf "Line #%2d\n" {1..3} > list.txt
~> cat list.txt
Line # 1
Line # 2
Line # 3
~> line=$(head -n1 list.txt && echo "$(tail -n +2 list.txt)" > list.txt)
~> echo $line
Line # 1
~> cat list.txt
Line # 2
Line # 3
你可以很容易地做到这一点:
cat filename | sed 1d > filename_without_first_line
在命令行上;或者要永久删除文件的第一行，使用sed的in-place模式，并带-i标志:
sed -i 1d <filename>
对于那些使用非gnu的SunOS的人来说，下面的代码将会有所帮助:
sed '1d' test.dat > tmp.dat
