如何使用sed删除文本文件中包含特定字符串的所有行?


当前回答

使用GNU sed的简单方法是:

sed --in-place '/some string here/d' yourfile

其他回答

perl -i    -nle'/regexp/||print' file1 file2 file3
perl -i.bk -nle'/regexp/||print' file1 file2 file3

第一个命令在原地(-i)编辑文件。

第二个命令执行相同的操作,但通过在文件名中添加.bk来保留原始文件的副本或备份(.bk可以更改为任何内容)。

在控制台中显示处理过的文本

cat filename | sed '/text to remove/d' 

将处理过的文本保存到文件中

cat filename | sed '/text to remove/d' > newfile

将已处理的文本信息附加到现有文件

cat filename | sed '/text to remove/d' >> newfile

要处理已处理的文本,在这种情况下,请删除已删除内容的更多行

cat filename | sed '/text to remove/d' | sed '/remove this too/d' | more

more将一次显示一页的文本块。

可以使用sed替换文件中的行。然而,它似乎比使用grep将反转转换为第二个文件,然后将第二个移动到原始文件上要慢得多。

e.g.

sed -i '/pattern/d' filename      

or

grep -v "pattern" filename > filename2; mv filename2 filename

无论如何,第一个命令在我的机器上需要3倍的时间。

我用一个包含大约345000行的文件制作了一个小型基准测试。在这种情况下,使用grep的方法似乎比sed方法快15倍左右。

我已经尝试了使用和不使用设置LC_ALL=C,这似乎不会显著改变定时。搜索字符串(CDGA_00004.pdbqt.gz.tar)位于文件的中间位置。

以下是命令和计时:

time sed -i "/CDGA_00004.pdbqt.gz.tar/d" /tmp/input.txt

real    0m0.711s
user    0m0.179s
sys     0m0.530s

time perl -ni -e 'print unless /CDGA_00004.pdbqt.gz.tar/' /tmp/input.txt

real    0m0.105s
user    0m0.088s
sys     0m0.016s

time (grep -v CDGA_00004.pdbqt.gz.tar /tmp/input.txt > /tmp/input.tmp; mv /tmp/input.tmp /tmp/input.txt )

real    0m0.046s
user    0m0.014s
sys     0m0.019s

您可以使用good-old ed以与使用ex的答案类似的方式编辑文件。在这种情况下,最大的区别是ed通过标准输入接受命令,而不是像ex can那样作为命令行参数。在脚本中使用它时,通常的方法是使用printf将命令传递给它:

printf "%s\n" "g/pattern/d" w | ed -s filename

或与heredoc:

ed -s filename <<EOF
g/pattern/d
w
EOF