Executar programa somente em linhas correspondentes

Aqui está uma maneira de fazer a primeira coisa que você pediu ( em blocos ), supondo blackboxque seja nl:

$ cat tst.sh
#!/usr/bin/env bash

awk '
    BEGIN { cmd = "nl" }
    /=TAG=/ {
        print | cmd
        next
    }
    {
        close(cmd)
        print
    }
' "${@:--}"

$ ./tst.sh file
in this file
     1    this line contains =TAG=
     2      so does =TAG= this one
     3        as =TAG= does this other line
    this line does not
nor does this line
     1    =TAG= here again
    gone again

Se você quiser fazer isso uma linha de cada vez, como na sua segunda solicitação ( linha a linha ), basta mover close():

$ cat tst.sh
#!/usr/bin/env bash

awk '
    BEGIN { cmd = "nl" }
    /=TAG=/ {
        print | cmd
        close(cmd)
        next
    }
    {
        print
    }
' "${@:--}"

$ ./tst.sh file
in this file
     1    this line contains =TAG=
     1      so does =TAG= this one
     1        as =TAG= does this other line
    this line does not
nor does this line
     1    =TAG= here again
    gone again

O GNU awk também suporta coprocessos caso você precise de mais controle sobre onde a saída do comando externo aparece na saída geral ou se precisar de qualquer outro processamento adicional antes de imprimi-lo.

E falando nisso... aqui está uma maneira de implementar sua terceira requisição, Continuously , usando o GNU awk para coprocessos:

$ cat tst.sh
#!/usr/bin/env bash

awk '
    BEGIN { cmd = "nl" }
    { lines[NR] = $0 }
    /=TAG=/ {
        print |& cmd
        tbds[NR]
    }
    END {
        close(cmd, "to")
        for ( i=1; i<=NR; i++ ) {
            if ( i in tbds ) {
                if ( (cmd |& getline line) > 0 ) {
                    lines[i] = line
                }
            }
            print lines[i]
        }
        close(cmd)
    }
' "${@:--}"

$ ./tst.sh file
in this file
     1    this line contains =TAG=
     2      so does =TAG= this one
     3        as =TAG= does this other line
    this line does not
nor does this line
     4    =TAG= here again
    gone again

Isso pressupõe que sua entrada não seja tão massiva que não caiba na memória. Se esse não for o caso, você pode fazer a mesma coisa com uma abordagem de 2 passagens lendo a entrada duas vezes em vez de armazená-la no lines[]array.

O acima pode quebrar se o pipe ficar cheio (obrigado @Stéphane Chazelas por apontar isso), se o seu sistema estiver cheio stdbuf, você pode fazer o seguinte para tornar nla saída em buffer de linha:

$ cat tst.sh
#!/usr/bin/env bash

awk '
    BEGIN { cmd = "stdbuf -oL nl" }
    /=TAG=/ {
        print |& cmd
        if ( (cmd |& getline line) > 0 ) {
            $0 = line
        }
    }
    { print }
' "${@:--}"

$ ./tst.sh file
in this file
     1    this line contains =TAG=
     2      so does =TAG= this one
     3        as =TAG= does this other line
    this line does not
nor does this line
     4    =TAG= here again
    gone again

Com um awk não-GNU, você pode gravar em um arquivo temporário em vez de canalizar para um processo e, então, ler do arquivo temporário em vez de ler do processo, por exemplo:

$ cat tst.sh
#!/usr/bin/env bash

tmp=$(mktemp) || exit 1
trap 'rm -f "$tmp"; exit' EXIT

tmp="$tmp" awk '
    BEGIN {
        tmp = ENVIRON["tmp"]
        cmd = "nl > \047" tmp "\047"
    }
    { lines[NR] = $0 }
    /=TAG=/ {
        print | cmd
        tbds[NR]
    }
    END {
        close(cmd)
        for ( i=1; i<=NR; i++ ) {
            if ( i in tbds ) {
                if ( (getline line < tmp) > 0 ) {
                    lines[i] = line
                }
            }
            print lines[i]
        }
    }
' "${@:--}"

$ ./tst.sh file
in this file
     1    this line contains =TAG=
     2      so does =TAG= this one
     3        as =TAG= does this other line
    this line does not
nor does this line
     4    =TAG= here again
    gone again

ou, novamente, usar stdbufda mesma forma que fazemos para a solução de coprocesso.

Se você estiver pensando em usar, getlineleia http://awk.freeshell.org/AllAboutGetline primeiro.

Com perl:

$ perl -ne '
  if (/=TAG=/) {
    STDOUT->flush;
    open $cmd, "|-", "nl" unless $cmd;
    print $cmd $_;
  } else {
    close $cmd;
    undef $cmd;
    print;
  }' file
in this file
     1    this line contains =TAG=
     2      so does =TAG= this one
     3        as =TAG= does this other line
    this line does not
nor does this line
     1    =TAG= here again
    gone again

$ perl -ne '
  if (/=TAG=/) {
    STDOUT->flush;
    open $cmd, "|-", "nl";
    print $cmd $_;
    close $cmd;
  } else {
    print;
  }' file
in this file
     1    this line contains =TAG=
     1      so does =TAG= this one
     1        as =TAG= does this other line
    this line does not
nor does this line
     1    =TAG= here again
    gone again

$ perl -MTime::HiRes=usleep -ne '
  if (/=TAG=/) {
    STDOUT->flush;
    unless ($cmd) {
      open $cmd, "|-", "stdbuf", "-oL", "nl";
      $cmd->autoflush;
    }
    print $cmd $_;
    usleep(10000)
  } else {print}' file
in this file
     1    this line contains =TAG=
     2      so does =TAG= this one
     3        as =TAG= does this other line
    this line does not
nor does this line
     4    =TAG= here again
    gone again

Este último pressupõe que o comando não armazena em buffer sua saída (o que evitamos nl-- na verdade, pedimos o buffer de Lsaída oine -- aqui, stdbuf -oLcomo encontrado em sistemas GNU ou FreeBSD) e que, ao ler uma linha de entrada, produz a(s) linha(s) correspondente(s) de saída dentro dos próximos 10.000 microssegundos (0,1 segundo).

Aqui o comando é codificado como "nl"or "stdbuf", "-oL", "nl"(que você também pode escrever qw(stdbuf -oL nl)) dentro do perlcódigo. Para um comando e seu argumento serem passados ​​como argumentos extras para perl:

perl -ne '
  BEGIN {@cmd = @ARGV; @ARGV = ()}
  # rest of the code where the open call would become:
  open $cmd, "|-", @cmd
  ' stdbuf -oL nl < file

Em vez de um comando simples, você pode criar qualquer código shell usando o código acima e sh -c 'any shell code'como comando simples ou usar a open $cmd, "|any shell code"sintaxe¹

^{¹ Na verdade, nas versões modernas do perl, perlo ignorará a execução de um shell se o comando for simples o suficiente.}