Início / coding / Perguntas / 77024031
Accepted
Candy
Asked: 2023-09-01 22:39:22 +0800 CST

Comando Awk para obter linhas exclusivas em um arquivo com múltiplas colunas

  • 772

Estou tentando obter linhas exclusivas em um arquivo com várias colunas.

Meu arquivo "file.txt" contém o registro de exemplo abaixo

20230830,52678,004,Apple,21
20230830,52678,004,Apple,20
20230830,52678,004,Apple,19
20230831,47689,001,Orange,15
20230901,47620,002,Grape,29

Minha saída desejada é imprimir apenas linhas únicas da coluna 1 a 4. Independentemente do valor na coluna 5

20230831,47689,001,Orange,15
20230901,47620,002,Grape,29

Tentei usar sed para adicionar um separador exclusivo entre as colunas 1-4 e a coluna 5

E então eu uso o comando awk para obter linhas exclusivas da coluna 1-4

sed 's/,/|/4' file.txt | awk -F"|" '{arr[$1]++} END{for(i in arr) if(arr[i]==1) print $0}'

Com esse código ele funciona com um pequeno conjunto de dados mas quando uso em um arquivo com 1000 linhas, obtenho...

20230831,47689,001,Orange,15
20230831,47689,001,Orange,15
20230831,47689,001,Orange,15
20230831,47689,001,Orange,15
...

valores únicos continuam chegando. Eles estão duplicando. Parece que estou recebendo apenas uma linha única e ela continua duplicando.

Você pode me ajudar se houver algo errado com meu código?

Espero imprimir apenas linhas exclusivas como esta

20230831,47689,001,Orange,15
20230901,47620,002,Grape,29
awk

3 respostas

  1. Best Answer

    Não há necessidade de usar sedpara converter o delimitador de campo de ,para |, pois awké capaz de analisar o arquivo em ,.

    Uma awkideia:

    awk  '
BEGIN { FS=OFS="," }
      { key = $1 OFS $2 OFS $3 OFS $4
        lines[key]=$5
        counts[key]++
      }
END   { for (i in counts) 
            if (counts[i]==1)                # unique if count == 1
               print i,lines[i]
      }
' file.txt

    Isso gera:

    20230901,47620,002,Grape,29
20230831,47689,001,Orange,15

    NOTA: a ordem em que os índices do array são processados ​​não é garantida; se a saída precisar ser classificada em uma ordem específica, poderíamos adicionar mais código

    re: Comentário do OP: I just need to make it in one line.Algumas opções vêm à mente:

    Coloque o código atual em uma linha, por exemplo:

    awk 'BEGIN {FS=OFS=","} {key = $1 OFS $2 OFS $3 OFS $4;lines[key]=$5;counts[key]++} END {for (i in counts) if (counts[i]==1) print i,lines[i]}' file.txt

    Coloque o awkcódigo em um arquivo separado (por exemplo, key.awk) e faça referência ao arquivo na awkinvocação, por exemplo:

    $ cat key.awk
BEGIN { FS=OFS="," }
      { key = $1 OFS $2 OFS $3 OFS $4
        lines[key]=$5
        counts[key]++
      }
END   { for (i in counts) 
            if (counts[i]==1)
               print i,lines[i]
      }

$ awk -f key.awk file.txt
20230901,47620,002,Grape,29
20230831,47689,001,Orange,15
    • 2

  2. Awk pode resolver seu problema sozinho:

    kent$ awk -F, '{k=$1 FS $2 FS $3 FS $4; a[k]++; b[k]=$0}
               END{for(x in a) if(a[x]==1)print b[x]}' file
20230901,47620,002,Grape,29
20230831,47689,001,Orange,15
    • 1

  3. Este canal Unix identificará linhas em seu arquivo que são duplicadas com base nos primeiros 4 campos:

    $ cut -d, -f 1-4 file | uniq -d
20230830,52678,004,Apple

    Você pode então usar greppara inverter essa correspondência para que as duplicatas sejam ignoradas:

    $ grep -vF -f <(cut -d, -f 1-4 file | uniq -d) file

    Impressões:

    20230831,47689,001,Orange,15
20230901,47620,002,Grape,29

    A vantagem aqui é o menor requisito de memória, já que você não precisa manter o arquivo inteiro na memória.

    • 1

relate perguntas