如何使用sed删除文本文件中包含特定字符串的所有行?


当前回答

我在Mac上挣扎着。另外,我需要使用变量替换来完成。

所以我使用了:

sed-i“”/$pattern/d“$文件

其中$file是需要删除的文件,$pattern是要匹配删除的模式。

我从评论中选择了“”。

这里需要注意的是在“/$pattern/d”中使用双引号。当我们使用单引号时,变量不起作用。

其他回答

您可以考虑使用ex(这是一个标准的基于Unix命令的编辑器):

ex +g/match/d -cwq file

哪里:

+执行给定的Ex命令(man-Ex),与执行wq(写入和退出)的-c相同g/match/d-删除具有给定匹配的行的Ex命令,请参见:g的幂

上面的示例是一种符合POSIX的方法,用于根据Unix.SE和POSIX规范中的这篇文章就地编辑文件。


与sed的区别在于:

sed是流编辑器,而不是文件编辑器。AshFAQ

除非您喜欢不可移植的代码、I/O开销和其他一些不良副作用。因此,基本上一些参数(如in-place/-i)是非标准的FreeBSD扩展,可能在其他操作系统上不可用。

perl -i    -nle'/regexp/||print' file1 file2 file3
perl -i.bk -nle'/regexp/||print' file1 file2 file3

第一个命令在原地(-i)编辑文件。

第二个命令执行相同的操作,但通过在文件名中添加.bk来保留原始文件的副本或备份(.bk可以更改为任何内容)。

奇怪的是,公认的答案实际上并没有直接回答这个问题。这个问题问的是如何使用sed替换字符串,但答案似乎预设了如何将任意字符串转换为正则表达式的知识。

许多编程语言库具有执行这种转换的功能,例如。

python: re.escape(STRING)
ruby: Regexp.escape(STRING)
java:  Pattern.quote(STRING)

但是如何在命令行上执行呢?

由于这是一个面向sed的问题,一种方法是使用sed本身:

sed 's/\([\[/({.*+^$?]\)/\\\1/g'

因此,给定一个任意字符串$string,我们可以编写如下内容:

re=$(sed 's/\([\[({.*+^$?]\)/\\\1/g' <<< "$STRING")
sed "/$re/d" FILE

或作为一个衬垫:

 sed "/$(sed 's/\([\[/({.*+^$?]\)/\\\1/g' <<< "$STRING")/d" 

其变化如本页其他地方所述。

我在Mac上挣扎着。另外,我需要使用变量替换来完成。

所以我使用了:

sed-i“”/$pattern/d“$文件

其中$file是需要删除的文件,$pattern是要匹配删除的模式。

我从评论中选择了“”。

这里需要注意的是在“/$pattern/d”中使用双引号。当我们使用单引号时,变量不起作用。

我用一个包含大约345000行的文件制作了一个小型基准测试。在这种情况下,使用grep的方法似乎比sed方法快15倍左右。

我已经尝试了使用和不使用设置LC_ALL=C,这似乎不会显著改变定时。搜索字符串(CDGA_00004.pdbqt.gz.tar)位于文件的中间位置。

以下是命令和计时:

time sed -i "/CDGA_00004.pdbqt.gz.tar/d" /tmp/input.txt

real    0m0.711s
user    0m0.179s
sys     0m0.530s

time perl -ni -e 'print unless /CDGA_00004.pdbqt.gz.tar/' /tmp/input.txt

real    0m0.105s
user    0m0.088s
sys     0m0.016s

time (grep -v CDGA_00004.pdbqt.gz.tar /tmp/input.txt > /tmp/input.tmp; mv /tmp/input.tmp /tmp/input.txt )

real    0m0.046s
user    0m0.014s
sys     0m0.019s