Como contar o número de linhas no meio de um tubo

Este comentário é verdadeiro:

Cada parte de um pipeline é iniciada independentemente das outras partes do mesmo pipeline. Isso significa que $xnão pode estar disponível no meio do pipeline se estiver definido em um dos outros estágios.

Isso não significa que você não pode fazer nada. Um pipeline pode ser considerado o principal canal de dados, ainda os processos podem se comunicar usando canais laterais: arquivos, fifos nomeados ou qualquer outra coisa (embora às vezes você precise ter um cuidado extra e não deixá-los bloquear).

Você deseja contar o número de linhas e processar condicionalmente todo o fluxo de dados posteriormente. Isso significa que você precisa chegar ao final do fluxo e só então passar o fluxo inteiro. Então você precisa salvar todo o fluxo de alguma forma. Um arquivo temporário parece uma abordagem sensata. Você deve dividir seu tubo em pelo menos duas partes. A primeira parte deve salvar os dados em um arquivo; então as linhas devem ser contadas (essa tarefa pode pertencer à primeira parte, eu acho); em seguida, a última parte deve obter o número, ler o arquivo para receber os dados desde o início e agir de acordo.

Se você realmente deseja evitar arquivos temporários, alguma parte do seu pipeline deve agir de alguma forma como sponge. Para evitar canais laterais, o número de linhas deve ser passado como a primeira linha da saída e a parte restante do pipeline deve entender esse protocolo.

Considere este comando:

sed '$ {=; H; g; p;}; H; d'

Ele acumula linhas em um espaço de espera. Se houver pelo menos uma linha, depois de receber a última linha, sedimprime o número de linhas seguido por uma linha vazia e a entrada real.

A linha vazia é desnecessária, mas aparece "naturalmente" neste código simples. Em vez de tentar evitá-lo em sed, eu simplesmente lidaria com isso mais tarde no pipe (por exemplo, com sed '2 d').

Exemplo de uso:

#!/bin/sh

sed '$ {=; H; g; p;}; H; d' | sed '2 d' | {
   if ! IFS= read -r nlines; then
      echo "0 lines. Nothing to do." >&2
   else
      echo "$nlines lines. Processing accordingly." >&2
      if [ "$nlines" -ge 2 ]; then
         grep a
      else
         grep b
      fi
   fi
}

Notas:

• IFS= read -ré um exagero porque a primeira linha é bem definida e contém um único número (ou não existe).
• eu usei /bin/sh. O código também será executado no Bash.

• Você não pode assumir que sedé capaz de armazenar qualquer quantidade arbitrária de dados. A especificação POSIX diz:

  Os espaços padrão e de espera devem ser capazes de conter pelo menos 8192 bytes.

  Portanto, pode ser que o limite seja de apenas 8192 bytes. Por outro lado, posso imaginar um arquivo temporário com 1 TB de dados facilmente. Talvez não evite arquivos temporários a todo custo.

O título diz "contar o número de linhas", mas seu exemplo tenta decidir se o número é 2 ou mais (N ou mais em geral). Esses problemas não são equivalentes. Após a 2ª (Nª) linha de entrada, você sabe a resposta para o último problema, até as linhas aparecerão indefinidamente. O código acima não pode lidar com entrada indefinida. Vamos corrigi-lo até certo ponto.

sed '
7~1 {p; d}
6 {H; g; i \
6+
p; d}
$ {=; H; g; p}
6! {H; d}
'

Este comando se comporta como a solução anterior, exceto que quando chega à 6ª linha assume (imprime) que o número de linhas é 6+. Em seguida, as linhas já vistas são impressas e as linhas seguintes (se houver) são impressas assim que aparecem ( catcomportamento -like).

Exemplo de uso:

#!/bin/sh

threshold=6

sed "
$((threshold+1))~1 {p; d}
$threshold {H; g; i \
$threshold+
p; d}
$ {=; H; g; p}
${threshold}! {H; d}
" | sed '2 d' | {
   if ! IFS= read -r nlines; then
      echo "0 lines. Nothing to do." >&2
   else
      echo "$nlines lines. Processing accordingly." >&2
      if [ "$nlines" = "$threshold+" ]; then
         grep a
      else
         grep b
      fi
   fi
}

Notas:

• Corrigido "até certo ponto" porque a limitação de sed(qualquer que seja a limitação no seu caso) ainda se aplica. Mas agora sedprocessa no máximo um $thresholdnúmero de linhas; se $thresholdfor baixo o suficiente, então deve estar OK.
• O código de exemplo apenas testa, $threshold+mas o protocolo permite distinguir entre 0, 1, 2, …, limite menos um e limite ou mais linhas.

^{Não sou muito habilidoso em sed. Se meu sedcódigo pode ser simplificado, por favor, deixe-me uma dica em um comentário.}

Com base na discussão e no código sed do Kamil, encontrei esta solução awk:

awk -v th="$threshold" '
  function print_lines() { for (i in lines) print lines[i] }
  NR < th { lines[NR] = $0 }
  NR > th { print }
  NR == th { print th; print_lines(); print }
  END { if (NR < th) { print NR; print_lines(); } }' \
| if read nlines; then
    if [ "$nlines" -eq "$threshold" ]; then
      grep a
    else
      grep b
    fi
  fi