如何使用sed删除文本文件中包含特定字符串的所有行?


当前回答

也可以删除文件中的一系列行。例如,删除SQL文件中的存储过程。

sed'/CREATE PROCEDURE.*/,/END/d'sql行.sql

这将删除CREATE PROCEDURE和END;之间的所有行;。

我用这个sed命令清理了许多sql文件。

其他回答

可以使用sed替换文件中的行。然而,它似乎比使用grep将反转转换为第二个文件,然后将第二个移动到原始文件上要慢得多。

e.g.

sed -i '/pattern/d' filename      

or

grep -v "pattern" filename > filename2; mv filename2 filename

无论如何,第一个命令在我的机器上需要3倍的时间。

您可以考虑使用ex(这是一个标准的基于Unix命令的编辑器):

ex +g/match/d -cwq file

哪里:

+执行给定的Ex命令(man-Ex),与执行wq(写入和退出)的-c相同g/match/d-删除具有给定匹配的行的Ex命令,请参见:g的幂

上面的示例是一种符合POSIX的方法,用于根据Unix.SE和POSIX规范中的这篇文章就地编辑文件。


与sed的区别在于:

sed是流编辑器,而不是文件编辑器。AshFAQ

除非您喜欢不可移植的代码、I/O开销和其他一些不良副作用。因此,基本上一些参数(如in-place/-i)是非标准的FreeBSD扩展,可能在其他操作系统上不可用。

您可以使用good-old ed以与使用ex的答案类似的方式编辑文件。在这种情况下,最大的区别是ed通过标准输入接受命令,而不是像ex can那样作为命令行参数。在脚本中使用它时,通常的方法是使用printf将命令传递给它:

printf "%s\n" "g/pattern/d" w | ed -s filename

或与heredoc:

ed -s filename <<EOF
g/pattern/d
w
EOF

奇怪的是,公认的答案实际上并没有直接回答这个问题。这个问题问的是如何使用sed替换字符串,但答案似乎预设了如何将任意字符串转换为正则表达式的知识。

许多编程语言库具有执行这种转换的功能,例如。

python: re.escape(STRING)
ruby: Regexp.escape(STRING)
java:  Pattern.quote(STRING)

但是如何在命令行上执行呢?

由于这是一个面向sed的问题,一种方法是使用sed本身:

sed 's/\([\[/({.*+^$?]\)/\\\1/g'

因此,给定一个任意字符串$string,我们可以编写如下内容:

re=$(sed 's/\([\[({.*+^$?]\)/\\\1/g' <<< "$STRING")
sed "/$re/d" FILE

或作为一个衬垫:

 sed "/$(sed 's/\([\[/({.*+^$?]\)/\\\1/g' <<< "$STRING")/d" 

其变化如本页其他地方所述。

如果有人想对字符串进行精确匹配,您可以使用grep-w中的-w标志来表示整数。也就是说,例如,如果要删除编号为11的行,但保留编号为111的行:

-bash-4.1$ head file
1
11
111

-bash-4.1$ grep -v "11" file
1

-bash-4.1$ grep -w -v "11" file
1
111

如果您想同时排除几个确切的模式,它也可以使用-f标志。如果“黑名单”是要从“文件”中删除的每一行都有多个模式的文件:

grep -w -v -f blacklist file