Início / unix / Perguntas / 464943
Accepted
Arch Stanton
Asked: 2018-08-27 09:21:49 +0800 CST

Explicação do comportamento imprevisível do tee

  • 772

Encontrei um comportamento que não entendo ao testar um script que soma as saídas de execuções repetidas de um programa. Para reproduzi-lo crie os arquivos de texto out, que representa a saída do meu programa, e sum, o arquivo que contém a soma dos valores retornados nas execuções anteriores e que começa como uma cópia de out,

cat > out << EOF
2 20
5 50
EOF
cp out sum

A coisa estranha acontece ao correr

paste out sum | awk '{$1 += $3; $2 += $4; NF = 2; print}' | tee sum

várias vezes (15-20 vezes podem ser necessárias). Cada vez que é executado, esse comando deve adicionar os valores nos sumvalores correspondentes oute gravar os resultados de volta em sum. O que eu recebo é que ele funciona um número imprevisível de vezes, depois sumvolta para

2 20
5 50

Mais tarde, aprendi que não posso redirecionar ou tee saída para o mesmo arquivo em que estou trabalhando e resolvi o problema usando um arquivo temporário, ainda assim, esse comportamento me deixa perplexo:

  • por que … | tee sumfunciona (mesmo que apenas para um número limitado de iterações), enquanto … > sumnunca sobrescreve sum?

  • por que não funciona um número previsível de vezes?

bash io-redirection

1 respostas

  1. Best Answer

    Este,

    paste out sum | awk ... | tee sum

    tem uma condição de corrida. pasteabre sumpara ler, e teeabre para escrever, truncando-o. O shell inicia os dois aproximadamente ao mesmo tempo, então cabe ao acaso qual deles abrirá o arquivo primeiro.

    É claro que na prática, o shell precisa iniciar os utilitários um de cada vez, em alguma ordem específica. Ele provavelmente faz isso da esquerda para a direita, então pastepode ter uma chance melhor de ir primeiro, mas isso é um detalhe de implementação e, em qualquer caso, o agendador do SO decide o que é executado e quando.

    Se pastefor primeiro, ele abre o arquivo com os dados ainda intactos e provavelmente tem tempo suficiente para ler os dados também. Se teeconseguir abrir o arquivo antes pastede lê-lo, pasteverá um arquivo vazio.

    Aqui,

    paste out sum | awk ... > sum

    O shell se abre sumpara escrita, truncando-o. Ele pode fazer isso em paralelo ao start paste, mas como truncar sumnão envolve iniciar outro utilitário, provavelmente acontece primeiro. (Não tenho certeza se existe uma regra sobre a ordem de processar redirecionamentos e iniciar os comandos em um pipeline como este, mas não contaria com isso.)

    Existe uma ferramenta chamada spongepara corrigir esse problema (e uma dúzia de perguntas sobre isso ). Ele coleta a entrada que recebe e só a grava depois que a entrada é fechada. Isso deve ter sumatualizado corretamente, sempre:

    paste out sum | awk ... | sponge sum
    • 7

relate perguntas