如何使用sed删除文本文件中包含特定字符串的所有行?


当前回答

我用一个包含大约345000行的文件制作了一个小型基准测试。在这种情况下,使用grep的方法似乎比sed方法快15倍左右。

我已经尝试了使用和不使用设置LC_ALL=C,这似乎不会显著改变定时。搜索字符串(CDGA_00004.pdbqt.gz.tar)位于文件的中间位置。

以下是命令和计时:

time sed -i "/CDGA_00004.pdbqt.gz.tar/d" /tmp/input.txt

real    0m0.711s
user    0m0.179s
sys     0m0.530s

time perl -ni -e 'print unless /CDGA_00004.pdbqt.gz.tar/' /tmp/input.txt

real    0m0.105s
user    0m0.088s
sys     0m0.016s

time (grep -v CDGA_00004.pdbqt.gz.tar /tmp/input.txt > /tmp/input.tmp; mv /tmp/input.tmp /tmp/input.txt )

real    0m0.046s
user    0m0.014s
sys     0m0.019s

其他回答

要删除该行并将输出打印为标准输出,请执行以下操作:

sed '/pattern to match/d' ./infile

要直接修改文件,请执行以下操作:

sed -i '/pattern to match/d' ./infile

相同,但对于BSD sed(Mac OS X和FreeBSD)-不适用于GNU sed:

sed -i '' '/pattern to match/d' ./infile

要直接修改文件(并创建备份),请使用BSD和GNU sed:

sed -i.bak '/pattern to match/d' ./infile

要使用grep获得类似于就地的结果,可以执行以下操作:

echo "$(grep -v "pattern" filename)" >filename

我在Mac上挣扎着。另外,我需要使用变量替换来完成。

所以我使用了:

sed-i“”/$pattern/d“$文件

其中$file是需要删除的文件,$pattern是要匹配删除的模式。

我从评论中选择了“”。

这里需要注意的是在“/$pattern/d”中使用双引号。当我们使用单引号时,变量不起作用。

我用一个包含大约345000行的文件制作了一个小型基准测试。在这种情况下,使用grep的方法似乎比sed方法快15倍左右。

我已经尝试了使用和不使用设置LC_ALL=C,这似乎不会显著改变定时。搜索字符串(CDGA_00004.pdbqt.gz.tar)位于文件的中间位置。

以下是命令和计时:

time sed -i "/CDGA_00004.pdbqt.gz.tar/d" /tmp/input.txt

real    0m0.711s
user    0m0.179s
sys     0m0.530s

time perl -ni -e 'print unless /CDGA_00004.pdbqt.gz.tar/' /tmp/input.txt

real    0m0.105s
user    0m0.088s
sys     0m0.016s

time (grep -v CDGA_00004.pdbqt.gz.tar /tmp/input.txt > /tmp/input.tmp; mv /tmp/input.tmp /tmp/input.txt )

real    0m0.046s
user    0m0.014s
sys     0m0.019s

从所有匹配的文件中删除行

grep -rl 'text_to_search' . | xargs sed -i '/text_to_search/d'