Início / unix / Perguntas / 414042
Accepted
yukashima huksay
Asked: 2018-01-01 13:27:16 +0800 CST

Como dividir uma saída em dois arquivos com grep?

  • 772

Eu tenho um script mycommand.shque não posso executar duas vezes. Desejo dividir a saída em dois arquivos diferentes, um arquivo contendo as linhas que correspondem a um regex e um arquivo contendo as linhas que não correspondem a um regex. O que eu gostaria de ter é basicamente algo assim:

./mycommand.sh | grep -E 'some|very*|cool[regex].here;)' --match file1.txt --not-match file2.txt

Eu sei que posso apenas redirecionar a saída para um arquivo e, em seguida, para dois greps diferentes com e sem a opção -v e redirecionar a saída para dois arquivos diferentes. Mas eu estava me perguntando se era possível fazer isso com um grep.

Então, é possível conseguir o que eu quero em uma única linha?

grep io-redirection

4 respostas

  1. Best Answer

    Há muitas maneiras de fazer isso.

    Usando awk

    O seguinte envia todas as linhas correspondentes coolregexao file1. Todas as outras linhas vão para file2:

    ./mycommand.sh | awk '/[coolregex]/{print>"file1";next} 1' >file2

    Como funciona:

    1. /[coolregex]/{print>"file1";next}

      Quaisquer linhas correspondentes à expressão regular coolregexsão impressas em file1. Em seguida, pulamos todos os comandos restantes e pulamos para recomeçar na nextlinha.

    2. 1

      Todas as outras linhas são enviadas para stdout. 1é a abreviação enigmática do awk para imprimir a linha.

    A divisão em vários fluxos também é possível:

    ./mycommand.sh | awk '/regex1/{print>"file1"} /regex2/{print>"file2"} /regex3/{print>"file3"}'

    Usando substituição de processo

    Isso não é tão elegante quanto a solução awk, mas, para completar, também podemos usar vários greps combinados com substituição de processo:

    ./mycommand.sh | tee >(grep 'coolregex' >File1) | grep -v 'coolregex' >File2

    Também podemos dividir em vários fluxos:

    ./mycommand.sh | tee >(grep 'coolregex' >File1) >(grep 'otherregex' >File3) >(grep 'anotherregex' >File4) | grep -v 'coolregex' >File2
    • 22 
  2. sed -n -e '/pattern_1/w file_1' -e '/pattern_2/w file_2' input.txt

    w filename- escreva o espaço do padrão atual no nome do arquivo.

    Se você deseja que todas as linhas correspondentes vão para file_1e todas as linhas não correspondentes para file_2, você pode fazer:

    sed -n -e '/pattern/w file_1' -e '/pattern/!w file_2' input.txt

    ou

    sed -n '/pattern/!{p;d}; w file_1' input.txt > file_2

    Explicação

    1. /pattern/!{p;d};
      • /pattern/!- negação - se uma linha não contém pattern.
      • p- imprimir o espaço padrão atual.
      • d- excluir espaço padrão. Iniciar o próximo ciclo.
      • assim, se uma linha não contiver padrão, ela imprime essa linha na saída padrão e seleciona a próxima linha. A saída padrão é redirecionada para o file_2no nosso caso. A próxima parte do sedscript ( w file_1) não é alcançada enquanto a linha não corresponde ao padrão.
    2. w file_1- se uma linha contém padrão, a /pattern/!{p;d};parte é pulada (porque só é executada quando o padrão não coincide) e, assim, esta linha vai para o arquivo file_1.
    • 8

  3. Gostei da sedsolução, pois não depende de bashismos e trata os arquivos de saída da mesma forma. AFAIK, não existe uma ferramenta Unix autônoma que faça o que você deseja, então você precisa programá-la você mesmo. Se abandonássemos a abordagem do canivete suíço, poderíamos usar qualquer uma das linguagens de script (Perl, Python, NodeJS).

    É assim que seria feito no NodeJS

      #!/usr/bin/env node

  const fs = require('fs');
  const {stderr, stdout, argv} = process;

  const pattern = new RegExp(argv[2] || '');
  const yes = argv[3] ? fs.createWriteStream(argv[3]) : stdout;
  const no = argv[4] ? fs.createWriteStream(argv[4]) : stderr;

  const out = [no, yes];

  const partition = predicate => e => {
    const didMatch = Number(!!predicate(e));
    out[didMatch].write(e + '\n');
  };

  fs.readFileSync(process.stdin.fd)
    .toString()
    .split('\n')
    .forEach(partition(line => line.match(pattern)));

    Exemplo de uso

    # Using designated files
./mycommand.sh | partition.js pattern file1.txt file2.txt

# Using standard output streams
./partition.js pattern > file1.txt 2> file2.txt
    • 0

  4. Se você não se importa em usar Python e uma sintaxe de expressão regular diferente:

    #!/usr/bin/env python3
import sys, re

regex, os1, os2 = sys.argv[1:]
regex = re.compile(regex)
with open(os1, 'w') as os1, open(os2, 'w') as os2:
    os = (os1, os2)
    for line in sys.stdin:
        end = len(line) - line.endswith('\n')
        os[regex.search(line, 0, end) is not None].write(line)

    Uso

    ./match-split.py PATTERN FILE-MATCH FILE-NOMATCH

    Exemplo

    printf '%s\n' foo bar baz | python3 match-split.py '^b' b.txt not-b.txt
    • 0

relate perguntas