Início / computer / Perguntas / 1472059
Accepted
Anthony Naddeo
Asked: 2019-08-17 08:20:28 +0800 CST

Múltiplos tubos em um log de cauda - o último tubo nunca recebe stdin

  • 772

Eu entrei em um estado interessante no Ubuntu. As etapas abaixo descrevem melhor.

Com um único tubo, estou vendo o que espero

# In shell A
tail -f foo.log | grep aaa

# In shell B
echo aaa >> foo.log

# Shell A prints out `aaa`

Mas com vários tubos não estou vendo nada

# In shell A
tail -f foo.log | grep aaa | grep bbb

# In shell B
echo aaa bbb >> foo.log

# Nothing ever prints in shell A

Mas funciona bem se eu estiver apenas ecoando.

echo 'aaa bbb' | grep aaa | grep bbb

Esta é minha tentativa de criar uma reprodução mínima - originalmente encontrei o problema ao tentar tee logs do adb logcat (ferramentas de desenvolvimento do Android). Eu tentei em zsh, bash e fish também.

Presumi que tivesse algo a ver com o limite do inotify watcher, mas ultrapassá-lo não mudou nada.

linux ubuntu

1 respostas

  1. Best Answer

    Isso ocorre por causa do buffer no pipe, que em geral não se preocupa com linhas e pode acumular dados.

    Acho que tail -fusa o buffer de linha por si só; e o último grepgrava no tty, então também usa buffer de linha. Portanto, seu primeiro exemplo funciona.

    Mas grepno meio é diferente e você precisa ajustar seu comportamento forçando o buffer de linha ou desabilitando o buffer. Os comandos abaixo funcionarão conforme o esperado.

    • Se o seu grepsuporte --line-buffered(ele faz no Ubuntu):

        tail -f foo.log | grep --line-buffered aaa | grep bbb

    • Soluções mais genéricas (funcionarão com muitos filtros diferentes de grep):

        tail -f foo.log | unbuffer -p grep aaa | grep bbb
  tail -f foo.log | stdbuf -oL grep aaa | grep bbb
  tail -f foo.log | stdbuf -o0 grep aaa | grep bbb

    Veja man 1 grep, man 1 unbuffere man 1 stdbufpara detalhes e peculiaridades.

    Notas:

    • Nenhuma das soluções é portátil ( grep --line-buffered, unbuffere stdbufnão são especificadas pelo POSIX).
    • Se você pode fazer isso grep --line-buffered, então deve ser sua escolha. Não adianta usar ferramentas extras.
    • Pergunta relacionada no Unix e Linux SE: Desligue o buffer no pipe .
    • unbuffere stdbuf trabalham de maneiras completamente diferentes .
    • Com stdbuf, o buffer de linha ( -oL) deve ser preferido a nenhum buffer ( -o0) aqui, porque
      • provavelmente tem um desempenho melhor,
      • e outras partes do seu pipe usam o buffer de linha de qualquer maneira.
    • Se o seu último grepescreveu em outro arquivo, ele se comportaria como o outro arquivo grep. Nesse caso, se você deseja que as linhas apareçam no arquivo final imediatamente, também deve modificar o comportamento do último arquivo grep.
    • Em fish, if grepé uma função wrapper, você pode não obter o comportamento desejado com --line-buffered. Use command grep --line-buffered. Veja esta pergunta: O tubo de saída espera pelo EOF emfish .

    Nota lateral: tail foo.log | grep aaa | grep bbb(ou seja, tailsem -f) não causa o problema porque tailsai. Quando tailsai, o primeiro grepdetecta EOF, libera seu buffer e sai, então o segundo grepfaz o mesmo.

    • 3

relate perguntas