是否可以在连续流上使用grep?

我的意思是有点像tail-f<file>命令,但输出上有grep,以便只保留我感兴趣的行。

我尝试过tail-f<file>|grep模式,但似乎只有在tail完成后才能执行grep,也就是说永远不会执行。


当前回答

在这个问题上,考虑到这类工作是监控工作的重要组成部分,这是我(不那么简短)的回答。。。

使用bash跟踪日志

1.命令尾部

这个命令比在已经发布的答案上读到的要详细一点

手册页中选项tail-f和tail-f之间的区别:-f、 --跟随[={name | descriptor}]随着文件的增长,输出附加数据;...-F与--follow=name相同--重试...--重试如果文件无法访问,则继续尝试打开该文件这意味着:通过使用-F而不是-F,tail将在删除时重新打开文件(例如,在日志旋转时)。这对于多天观察日志文件非常有用。能够同时跟踪多个文件我已经使用过:tail-F/var/www/clients/client*/web*/log/{error,access}.log/var/log/{mail,auth}.log\/var/log/apache2/{,ssl,other_vhosts_}访问日志\/var/log/pure-ftpd/transfer.log通过数百个文件跟踪事件。。。(考虑此答案的其余部分,以了解如何使其可读…;)使用开关-n(不要将-c用于行缓冲!)。默认情况下,尾部将显示最后10行。这可以通过以下方式进行调整:tail-n 0-F文件将跟随文件,但只打印新行tail-n+0-F文件将在跟踪他的进度之前打印整个文件。

2.配管时的缓冲问题:

如果您计划过滤组,请考虑缓冲!请参见sed的-u选项、grep的--line缓冲区或stdbuf命令:

tail -F /some/files | sed -une '/Regular Expression/p'

比在sed命令中不使用-u开关更具反应性(比使用grep效率高得多)。

tail -F /some/files |
    sed -une '/Regular Expression/p' |
    stdbuf -i0 -o0 tee /some/resultfile

3.最近的日志记录系统

在最近的系统上,您必须以几乎相同的方式运行journalctl-xf,而不是tail-f/var/log/syslog。。。

journalctl -axf | sed -une '/Regular Expression/p'

但请阅读手册页,该工具是为日志分析而构建的!

4.将其集成到bash脚本中

两个文件(或更多)的彩色输出下面是一个脚本示例,用于查看许多文件,第一个文件的颜色与其他文件不同:#!/bin/bash尾部-F“$@”|sed-une“/^==>/{h;};//!{Gs/^\\(.*\\)\\n==>.*${1//\//\\\/}.*<==/\\o33[47m\\1\\o33[0m/;s/^\\(.*\\)\\n==>.*<==//\\o33[47;31m\\1\\o33[0m/;p、 }"它们在我的主机上运行良好:苏多/myColoredTail/var/log/{kern.,sys}日志交互式脚本您可能正在查看日志以对事件做出反应?这里有一个小脚本,当一些USB设备出现或消失时播放一些声音,但相同的脚本可以发送邮件或任何其他交互,比如打开咖啡机。。。#!/bin/bashexec{tailF}<<(tail-F/var/log/kern.log)tailPid=$!而:;做read-rsn 1-t.3键盘[“${键盘,}”=“q”]&&中断如果读取-ru$tailF-t 0_;然后read-ru$tailF行case$行*新的\USB\device\found*)播放/some/sound.ogg;;*USB\disconnect*)播放/some/othersound.ogg;;欧洲安全理事会printf“\r%s\e[K”“$line”传真完成回响执行{tailF}<&-杀死$tailPid您可以按Q键退出。

其他回答

在没有行缓冲选项的地方,使用awk(另一个很棒的bash实用程序)而不是grep!它将不断地从尾部传输数据。

这是如何使用grep的

tail -f <file> | grep pattern

这就是你使用awk的方式

tail -f <file> | awk '/pattern/{print $0}'

你肯定不会成功

tail -f /var/log/foo.log |grep --line-buffered string2search

当您使用“colortail”作为tail的别名时,例如在bash中

alias tail='colortail -n 30'

你可以通过类型别名如果这个输出类似tail是colortail-n30的别名。那你就有你的罪魁祸首了:)

解决方案:

使用删除别名

unalias tail

确保通过此命令使用的是“real”尾部二进制文件

type tail

它应该输出如下内容:

tail is /usr/bin/tail

然后可以运行命令

tail -f foo.log |grep --line-buffered something

祝你好运

我一直使用tail-f<file>|grep<pattern>。

它会等到grep刷新,而不是等到它完成(我使用的是Ubuntu)。

没有看到任何人为我提供了通常的帮助:

less +F <file>
ctrl + c
/<search term>
<enter>
shift + f

我更喜欢这样,因为您可以随时使用ctrl+c停止并浏览文件,然后只需按shift+f返回实时流式搜索。

使用BSD grep(FreeBSD、Mac OS X等)时,打开grep的行缓冲模式

tail -f file | grep --line-buffered my_pattern

这看起来像是前一段时间——行缓冲区对于GNUgrep(几乎在任何Linux上都使用)都不重要,因为它在默认情况下被刷新(对于其他Unix类,如SmartOS、AIX或QNX,则为YMMV)。然而,截至2020年11月,需要--行缓冲(至少在openSUSE中使用GNU grep 3.5,但根据下面的评论,似乎通常需要)。