如何使用sed删除文本文件中包含特定字符串的所有行?
当前回答
我发现大多数答案对我来说都没用,如果你使用vim,我发现这非常简单明了:
:g/<图案>/d
来源
其他回答
如果有人想对字符串进行精确匹配,您可以使用grep-w中的-w标志来表示整数。也就是说,例如,如果要删除编号为11的行,但保留编号为111的行:
-bash-4.1$ head file
1
11
111
-bash-4.1$ grep -v "11" file
1
-bash-4.1$ grep -w -v "11" file
1
111
如果您想同时排除几个确切的模式,它也可以使用-f标志。如果“黑名单”是要从“文件”中删除的每一行都有多个模式的文件:
grep -w -v -f blacklist file
我用一个包含大约345000行的文件制作了一个小型基准测试。在这种情况下,使用grep的方法似乎比sed方法快15倍左右。
我已经尝试了使用和不使用设置LC_ALL=C,这似乎不会显著改变定时。搜索字符串(CDGA_00004.pdbqt.gz.tar)位于文件的中间位置。
以下是命令和计时:
time sed -i "/CDGA_00004.pdbqt.gz.tar/d" /tmp/input.txt
real 0m0.711s
user 0m0.179s
sys 0m0.530s
time perl -ni -e 'print unless /CDGA_00004.pdbqt.gz.tar/' /tmp/input.txt
real 0m0.105s
user 0m0.088s
sys 0m0.016s
time (grep -v CDGA_00004.pdbqt.gz.tar /tmp/input.txt > /tmp/input.tmp; mv /tmp/input.tmp /tmp/input.txt )
real 0m0.046s
user 0m0.014s
sys 0m0.019s
可以使用sed替换文件中的行。然而,它似乎比使用grep将反转转换为第二个文件,然后将第二个移动到原始文件上要慢得多。
e.g.
sed -i '/pattern/d' filename
or
grep -v "pattern" filename > filename2; mv filename2 filename
无论如何,第一个命令在我的机器上需要3倍的时间。
您可以考虑使用ex(这是一个标准的基于Unix命令的编辑器):
ex +g/match/d -cwq file
哪里:
+执行给定的Ex命令(man-Ex),与执行wq(写入和退出)的-c相同g/match/d-删除具有给定匹配的行的Ex命令,请参见:g的幂
上面的示例是一种符合POSIX的方法,用于根据Unix.SE和POSIX规范中的这篇文章就地编辑文件。
与sed的区别在于:
sed是流编辑器,而不是文件编辑器。AshFAQ
除非您喜欢不可移植的代码、I/O开销和其他一些不良副作用。因此,基本上一些参数(如in-place/-i)是非标准的FreeBSD扩展,可能在其他操作系统上不可用。
要删除该行并将输出打印为标准输出,请执行以下操作:
sed '/pattern to match/d' ./infile
要直接修改文件,请执行以下操作:
sed -i '/pattern to match/d' ./infile
相同,但对于BSD sed(Mac OS X和FreeBSD)-不适用于GNU sed:
sed -i '' '/pattern to match/d' ./infile
要直接修改文件(并创建备份),请使用BSD和GNU sed:
sed -i.bak '/pattern to match/d' ./infile
推荐文章
- 为什么用反斜杠开始shell命令?
- 遍历带空格的文件列表
- 在Bash中检查传递的参数是否为文件或目录
- 递归复制文件夹,不包括一些文件夹
- 如何在文件中grep不区分大小写的字符串?
- 如何使用文件的行作为命令的参数?
- 如何从命令输出中获得第二列?
- 寻找ALT+LeftArrowKey解决方案在zsh
- 如何做一个非贪婪匹配在grep?
- 在python shell中按方向键时看到转义字符
- Shell命令查找两个文件中的公共行
- 当存储命令输出到变量时,如何保存换行符?
- 如何从shell执行XPath一行程序?
- 如何使用Bash递归创建不存在的子目录?
- 如何将所有子目录中的所有文件压缩成bash中的一个压缩文件