Início / unix / Perguntas / 747421
Accepted
Mévatlavé Kraspek
Asked: 2023-05-29 09:34:17 +0800 CST

Deduplicar linhas CSV com base em uma coluna específica, com um analisador CSV

  • 772

Pesquisei por esta tarefa e encontrei as seguintes perguntas mais antigas:

Mas não posso usar awkporque meus dados são um arquivo CSV complexo com várias aspas duplas aninhadas.

Digamos que eu queira desduplicar o seguinte (caso simplificado):

Ref,xxx,zzz
ref1,"foo, bar, base",qux
ref1,"foo, bar, base",bar
ref2,aaa,bbb

Na saída eu preciso da seguinte forma:

Ref,xxx,zzz
ref1,"foo, bar, base",qux
ref2,aaa,bbb

Nenhuma awksolução, por favor, apenas com qualquer analisador CSV.

Eu tentei o seguinte:

mlr --csv uniq -a -g Ref file.csv

Mas é um erro.

linux

2 respostas

  1. uniqO subcomando de Miller retorna registros exclusivos com os campos com os quais a exclusividade foi determinada. Quaisquer outros campos são descartados. Você está recebendo um erro porque as opções do subcomando -a(usar todos os campos) e -g(usar campos específicos) são incompatíveis.

    Uma boa solução usando apenas Miller já foi dada . Usar o headsubcomando com -n 1enquanto agrupa no Refcampo é provavelmente a solução mais conveniente.

    Você também pode fazer Miller usar o mesmo tipo de operação que é comumente usado em awk( !seen[$1]++), mas como Miller não possui um operador pós-incremento, será um pouco mais longo:

    mlr --csv filter '@seen[$Ref] += 1; @seen[$Ref] == 1' file.csv

    Você também pode usar o Miller para converter os dados em JSON, depois usar jqpara executar uma unique_by()operação e fazer com que o Miller converta os dados de volta em CSV:

    mlr --c2j cat file.csv | jq 'unique_by(.Ref)' | mlr --j2c cat
    • 5
  2. Best Answer

    você poderia correr

    mlr --csv head -n 1 -g Ref input.csv

    para obter a primeira linha agrupada porRef

    • 4

relate perguntas