Início / unix / Perguntas / 779344
Accepted
halloleo
Asked: 2024-07-02 09:41:39 +0800 CST

ferramenta de linha de comando para somar os valores em uma coluna de um arquivo CSV

  • 772

Estou procurando uma ferramenta de linha de comando para calcular a soma dos valores em uma coluna especificada de um arquivo CSV. ( Atualização : o arquivo CSV pode ter campos entre aspas, portanto, uma solução simples apenas para quebrar um delimitador (',') não funciona.)

Dado o seguinte arquivo CSV de exemplo:

description A,description B,data 1, data 2
fruit,"banana,apple",3,17
veggie,cauliflower,7,18
animal,"fish,meat",9,22

Quero construir a soma, por exemplo, sobre a coluna data 1com o resultado 19 .

Tentei usar o csvkit para isso, mas não fui muito longe. Existem outras ferramentas de garantia de comando especializadas nesta operação CSV?

command-line

3 respostas

  1. Best Answer

    Miller lida com CSVs citados nativamente, então o seguinte deve funcionar:

    mlr --csv --headerless-csv-output stats1 -a sum -f 'data 1'
    • 4

  2. Coloquei seu CSV em um arquivo a.csv e fiz a soma da seguinte forma:

    cat a.csv | awk -F, '{ if($3 !~ /data*/  ){ total+= $3} } END { print "sum=" total}'

    Isso está usando awk com uma vírgula como separador de campo. Se o campo nº 3 não corresponder aos dados*, somamos o valor ao total. Quando terminar, imprima "sum=" e o valor total. Este é um subconjunto da resposta do awk Processamento de dados tabulares .

    Uma versão atualizada que usa FPAT para permitir as cotações:

    cat a.csv | awk -v FPAT='([^,]*)|("[^\"]+\")' '{ if($3 !~ /data*/ ){ total+= $3 } } END {print "sum="total}'

    O FPAT é uma expressão regular para gawk (que não funciona no estilo antigo do awk) que especifica como os campos são definidos. Nesse caso, existem duas expressões regulares, ([^,]*)ou seja, zero ou mais ocorrências de zero ou mais caracteres que não sejam vírgula. the ("[\"]+")diz uma ou mais ocorrências de caracteres sem aspas, contidos entre aspas.

    • 1

  3. Usando csvsqlo conjunto de ferramentas csvkit, que foi o que você tentou usar originalmente:

    $ csvsql -I --query 'SELECT SUM("data 1") FROM file' file | tail -n +2
19

    Isso insere os dados CSV fileem uma tabela de banco de dados de mesmo nome, sem inferência de tipo ( -I). Em seguida, aplica a instrução SQL SUM("table 1")nessa tabela para obter a soma do table 1campo.

    Como a saída conterá um cabeçalho, nós o removemos com uma chamada para tail.

    • 1

relate perguntas