Início / unix / Perguntas / 787563
Accepted
lewisxy
Asked: 2024-12-03 16:48:45 +0800 CST

O bash pipe perde dados quando o comando falha

  • 772

Considere este programa simples ( abort.py) que escreve algum texto em stdoute stderre então trava ( abort()).

import os
import sys

print("end stdout")
print("end stderr", file=sys.stderr)
os.abort()

Quando executo no terminal, ambas as saídas para stdoute stderrsão produzidas corretamente.

$ python3 abort.py 
end stdout
end stderr
Aborted (core dumped)

Entretanto, se eu redirecionasse stdoute/ou stderrusasse outro programa (talvez para fins de registro), ele não funcionaria mais.

$ python3 abort.py | cat
end stderr

$ python3 abort.py |& cat

$ python3 abort.py | tee -a logs
end stderr

$ python3 abort.py |& tee -a logs

# file `logs` is unchanged

Na verdade, se o programa ( abort.py) produz muitos textos para stdoute stderr, apenas a última seção deles é perdida da perspectiva do programa receptor na outra ponta do pipe. Eu também tentei executar o programa em um script bash e executar esse script, mas o resultado é o mesmo.

Por que isso está acontecendo e como devo corrigir?

Fundo

O exemplo acima é obviamente artificial. O cenário do mundo real é que eu estava depurando um programa grande que ocasionalmente travava (segfault ou abortava) após rodar por dias. Ele produz muitos logs para ambos stdoute stderr, mas a informação mais importante sobre sua falha (como rastreamento de pilha) é impressa no final, logo antes da falha acontecer. Eu tenho um pipeline de log configurado em um script bash (envolve alguns teee gzippor exemplo), mas descobri que a última seção do log salvo está sempre faltando, o que é frustrante.

linux

1 respostas

  1. Best Answer

    Este é um "problema" de buffer. Dizer ao python para não fazer buffer resulta no resultado desejado.

    $ python3 -u abort.py |& cat
end stdout
end stderr

    Quanto ao que fazer a respeito, você deve liberar a saída toda vez que algo for escrito com o qual você se importa o suficiente para ter o desempenho afetado, por exemplo

    import os
import sys

print("end stdout", flush=True)
print("end stderr", file=sys.stderr, flush=True)
os.abort()

    Note que as mensagens Abortedou Aborted (core dumped)vêm do shell. Se você estiver executando o bash ou qualquer outro shell POSIX, o status de saída de um pipeline é o do fim do pipeline. Como o catnão está abortando ou despejando o núcleo, você não vê uma mensagem. Para o bash, use set -o pipefailpara ver a mensagem abortada:

    $ set -o pipefail
$ python3 -u abort.py |& cat
end stdout
end stderr
Aborted (core dumped)
    • 13

relate perguntas