Início / ubuntu / Perguntas / 1066499
Accepted
user2413
Asked: 2018-08-19 00:34:22 +0800 CST

awk: pipe output de (condicional) print to gzip

  • 772

considere este arquivo:

#!/usr/bin/env bash
cat > example_file.txt <<EOL
group, value
1, 3.21
1, 3.42
1, 3.5
2, 4.1
2, 4.2
EOL

no script a seguir, agrupo as linhas desse arquivo pelos valores da primeira coluna (os valores da primeira coluna já estão classificados) e imprimo cada grupo em um arquivo txt individual:

var=$(echo 'example_file.txt')
var2=$(echo $var|sed "s/.txt//g")
mkdir -p output
cat $var | awk -v varn="$var2" -F, 'FNR == 1 {header = $0;next} !seen[$1]++ { print header > ("output/"varn"_"$1".txt") }{print > ("output/"varn"_"$1".txt");}'

pergunta

Como imprimir o resultado em um fluxo compactado "output/"varn"_"$1".gz"(em vez de um arquivo txt descompactado "output/"varn"_"$1".txt")?

(portanto, a saída desejada é a mesma que o script produz agora, apenas quero que os arquivos de saída sejam compactados e salvos em .txt.gzvez de texto simples, como o código faz agora).

(Tentei usar gzip >dentro dos {print}blocos mas sem sucesso :(

(PS, eu sou um pouco noob e awk e, portanto, a pergunta pode ser realmente idiota.)

command-line bash awk

1 respostas

  1. Best Answer

    Você pode canalizar para comandos em GNU awk's print. Do manual GNU awk :

    print items | command

    É possível enviar a saída para outro programa através de um pipe em vez de um arquivo. Esse redirecionamento abre um pipe para o comando e grava os valores dos itens por meio desse pipe para outro processo criado para executar o comando.

    O argumento de redirecionamento commandé na verdade uma expressão awk. Seu valor é convertido em uma string cujo conteúdo fornece o comando shell a ser executado. Por exemplo, o seguinte produz dois arquivos, uma lista não classificada de nomes de pessoas e uma lista classificada em ordem alfabética reversa:

    awk '{ print $1 > "names.unsorted"
       command = "sort -r > names.sorted"
       print $1 | command }' mail-list

    Então:

    awk -v varn="$var2" -F, 'FNR == 1 {header = $0;next}
  !seen[$1]++ { print header | "gzip > "output/"varn"_"$1".gz" }
  {print | "gzip > output/"varn"_"$1".gz";}'

    Por exemplo:

    % echo 1 2 | awk '{print $2 | "gzip > "$1".gz"}'
% zcat 1.gz 
2
    • 7

relate perguntas