Início / coding / Perguntas / 78503935
Accepted
Rasec Malkic
Asked: 2024-05-20 05:07:56 +0800 CST

Como remover duplicatas com base na coluna1 e nas condições da coluna3?

  • 772

Estou tentando remover duplicatas de um arquivo csv grande, com base nos valores con na coluna 1, mas considerando o seguinte:

A coluna 3 pode estar vazia ou ter vários valores separados por ::: Se houver mais de um valor repetido na coluna1, mantenha o registro que possui o número máximo de elementos dentro da coluna 3. Remova os -números entre na coluna3 caso exista.

Minha entrada é:

H1,H2,H3,H4
a,2,8005:::+2287:::3426,2
b,4,1111:::+15-00:::01354,1
b,4,1111:::+1500,1
c,4,2208:::+6583,9
d,5,7761:::+993733:::+53426,4
d,5,7761:::+993-733:::+53-426:::87425,4
d,5,7761:::53-426,4

A saída que estou tentando obter é:

H1,H2,H3,H4
a,2,8005:::+2287:::3426,2
b,4,1111:::+1500:::01354,1
c,4,2208:::+6583,9
d,5,7761:::+993733:::+53426:::87425,4

Meu script atual apenas remove duplicatas sem as outras considerações, já que não sei como misturar os dois scripts e como adicionar a condição para manter o registro que possui mais elementos na coluna 3.

awk -F, '{ gsub(/-/,"", $3); print } ' input.csv > input_without_hyphen.csv
awk -F',' -v OFS=',' '!a[$1]++' input_without_hyphen.csv > output.csv

Obrigado por qualquer ajuda.

csv

1 respostas

  1. Best Answer

    Premissas:

    • a vírgula aparece apenas como um delimitador (ou seja, não precisamos nos preocupar com a exibição de uma vírgula nos dados reais)
    • se 2 linhas são exatamente iguais e têm o mesmo número de elementos na 3ª coluna, mantemos a primeira que processamos
    • a ordem de entrada deve ser mantida

    Uma awkideia:

    awk '
BEGIN  { FS = OFS = "," }

FNR==1 { print; next }              # print header as is

       { key = $1                   # define key for this row
         if (! (key in counts))     # if we have not seen this key before then ...
            order[++ordnum] = key   # associate the key with the next ordering number

         gsub(/-/,"",$3)            # remove all hyphens from 3rd column

         n = split($3,a,/:::/)      # split 3rd column on ":::" delimiter, store results in array a[]; "n" == number of elements in array

         if (n > counts[key]) {     # if the number of elements (in 3rd column) is more than the previous count (for a row with the same key) then ...
            counts[key] = n         # save the new count and ...
            rows[key]   = $0        # save the current row
         }
       }

END    { for (i=1; i<=ordnum; i++)  # iterate through our ordering numbers and ...
            print rows[order[i]]    # print the associated row to stdout
       }
' input.csv

    Isso gera:

    H1,H2,H3,H4
a,2,8005:::+2287:::3426,2
b,4,1111:::+1500:::01354,1
c,4,2208:::+6583,9
d,5,7761:::+993733:::+53426:::87425,4

    NOTA: embora os dados tenham saído na mesma ordem da saída esperada do OP, a ordem nem sempre é garantida; se a ordem das linhas for importante, precisaríamos adicionar mais código

    • 2

relate perguntas