如何使用sed删除文本文件中包含特定字符串的所有行?


当前回答

echo-e“/thing_to_delete\ndd\033:x\n”|vim file_to_edit.txt

其他回答

可以使用sed替换文件中的行。然而,它似乎比使用grep将反转转换为第二个文件,然后将第二个移动到原始文件上要慢得多。

e.g.

sed -i '/pattern/d' filename      

or

grep -v "pattern" filename > filename2; mv filename2 filename

无论如何,第一个命令在我的机器上需要3倍的时间。

除了sed之外,还有许多其他方法可以删除具有特定字符串的行:

AWK

awk '!/pattern/' file > temp && mv temp file

红宝石(1.9+)

ruby -i.bak -ne 'print if not /test/' file

Perl

perl -ni.bak -e "print unless /pattern/" file

Shell(bash 3.2及更高版本)

while read -r line
do
  [[ ! $line =~ pattern ]] && echo "$line"
done <file > o
mv o file

GNU grep

grep -v "pattern" file > temp && mv temp file

当然,sed(打印相反内容比实际删除更快):

sed -n '/pattern/!p' file

您也可以使用此选项:

 grep -v 'pattern' filename

这里,-v将只打印图案以外的图案(这意味着反转匹配)。

我用一个包含大约345000行的文件制作了一个小型基准测试。在这种情况下,使用grep的方法似乎比sed方法快15倍左右。

我已经尝试了使用和不使用设置LC_ALL=C,这似乎不会显著改变定时。搜索字符串(CDGA_00004.pdbqt.gz.tar)位于文件的中间位置。

以下是命令和计时:

time sed -i "/CDGA_00004.pdbqt.gz.tar/d" /tmp/input.txt

real    0m0.711s
user    0m0.179s
sys     0m0.530s

time perl -ni -e 'print unless /CDGA_00004.pdbqt.gz.tar/' /tmp/input.txt

real    0m0.105s
user    0m0.088s
sys     0m0.016s

time (grep -v CDGA_00004.pdbqt.gz.tar /tmp/input.txt > /tmp/input.tmp; mv /tmp/input.tmp /tmp/input.txt )

real    0m0.046s
user    0m0.014s
sys     0m0.019s

我发现大多数答案对我来说都没用,如果你使用vim,我发现这非常简单明了:

:g/<图案>/d

来源