Início / unix / Perguntas / 569709
Accepted
jesse_b
Asked: 2020-02-26 13:39:16 +0800 CST

Soma valores em colunas csv

  • 772

Eu tenho vários arquivos csv bastante grandes que preciso somar os valores de cada coluna e transpor o cabeçalho da coluna.

CSV de amostra:

col1,col2,col3
enabled,disabled,active
disabled,disabled,enabled
N/A,enabled,active
enabled,N/A,disabled

Saída desejada:

col1,2 enabled,1 disabled,1 N/A
col2,1 enabled,2 disabled,1 N/A
col3,1 enabled,1 disabled,2 active

O csv real tem muito mais colunas e linhas, então seria preferível que ele pudesse iterar o arquivo automaticamente. Eu provavelmente poderia criar algum trabalho de hack de um programa awk para fazer uma coluna de cada vez, mas preferiria poder fazer o arquivo inteiro de uma só vez e não sei por onde começar com isso. A saída não precisa estar no formato exato que incluí, mas pelo menos semelhante.

awk text-processing

2 respostas

  1. Best Answer
    $ cat tst.awk
BEGIN { FS=OFS="," }
NR==1 { numRows = split($0,keys); next }
{
    for (i=1; i<=NF; i++) {
        sum[i,$i]++
        vals[$i]
    }
}
END {
    for (rowNr=1; rowNr<=numRows; rowNr++) {
        printf "%s", keys[rowNr]
        for (val in vals) {
            printf "%s%d %s", OFS, sum[rowNr,val], val
        }
        print ""
    }
}

$ awk -f tst.awk file
col1,1 disabled,2 enabled,1 N/A,0 active
col2,2 disabled,1 enabled,1 N/A,0 active
col3,1 disabled,1 enabled,0 N/A,2 active

    ou provavelmente mais útil:

    $ cat tst.awk
BEGIN { FS=OFS="," }
NR==1 { numRows = split($0,keys); next }
{
    for (i=1; i<=NF; i++) {
        sum[i,$i]++
        vals[$i]
    }
}
END {
    printf "%s", "key"
    for (val in vals) {
        printf "%s%s", OFS, val
    }
    print ""

    for (rowNr=1; rowNr<=numRows; rowNr++) {
        printf "%s", keys[rowNr]
        for (val in vals) {
            printf "%s%d", OFS, sum[rowNr,val]
        }
        print ""
    }
}

$ awk -f tst.awk file
key,disabled,enabled,N/A,active
col1,1,2,1,0
col2,2,1,1,0
col3,1,1,0,2
    • 2

  2. Você pode chegar bem perto de Miller:

    mlr --icsvlite --odkvp put -q 'for(k,v in $*) { @count[k][v] += 1; } end {emit @count,"col"}' sample.csv
col=col1,enabled=2,disabled=1,N/A=1
col=col2,disabled=2,enabled=1,N/A=1
col=col3,active=2,enabled=1,disabled=1
    • 1

relate perguntas