Início / unix / Perguntas / 428633
Accepted
EDubman
Asked: 2018-03-07 14:30:29 +0800 CST

Juntando entradas com base na coluna usando awk/join

  • 772

Eu tenho dois arquivos que são delimitados por pipe e podem ter correspondências de coluna 1 + coluna 2 em ambos, ou um arquivo pode ter a entrada enquanto o outro não. Suponha que minha chave de correspondência seja igual a $ 1"-" $ 2 usando um pipe '|' como o FS.

arquivo1

1111|AAA|foo|50
1111|BBB|foo|30
2222|BBB|foo|10

arquivo2

1111|AAA|bar|10
1111|CCC|bar|20
3333|AAA|bar|40

A saída desejada seria a seguinte para a primeira entrada (eu tenho isso funcionando)

1111|AAA|50|10

Para a segunda entrada arquivo1 (se não houver coluna1+coluna2 correspondente em ambos os arquivos, substitua a entrada que está faltando para foo como 0. E vice-versa)

1111|BBB|30|0

E para uma chave de entrada (coluna1+coluna2) no arquivo2, mas não no arquivo1 (esta é a entrada 3 da saída esperada do arquivo 2)

3333|AAA|0|40

Assim, o formato geral de saída desejado está listando TODAS as chaves exclusivas que são representadas por column1+column2 em AMBOS os arquivos. Com as entradas da 3ª coluna sendo os valores do arquivo1 coluna 4 (ou 0 se o valor não existir no arquivo1) e a 4ª coluna na saída como os valores na coluna 4 do arquivo 2 (ou 0 se o valor não existir no arquivo2 ).

Eu fiz muitas pesquisas e tentei muitas coisas, mas tenho valores que não são exibidos se o par column1+column2 existir no arquivo2, mas não no arquivo1, usando o seguinte:

join -t"|" -e0 -a1 -a2 -o 1.2,1.3,1.5,2.5 <(<file1 awk -F"|" '{print $1"-"$2"|"$0}' | sort -k1,1) <(<file2 awk -F"|" '{print $1"-"$2"|"$0}' | sort -k1,1)

O caso acima me dá a saída esperada se houver uma correspondência de coluna1+coluna2 no arquivo1, mas não no arquivo2, e acrescenta um 0 para a correspondência não existente... Como posso fazer isso funcionar para TODOS os cenários?

O comando acima fará alguma substituição de processo adicionando uma chave na coluna 1 em ambos os arquivos que é column1+column2 e, em seguida, unirá com base nessa nova chave. -e0 adicionará um 0 se esta chave existir no arquivo1, mas não no arquivo2. Como posso fazê-lo cobrir o caso de: Nova chave (coluna1-coluna2) existe no arquivo 2, mas NÃO no arquivo 1?

awk text-processing

3 respostas

  1. Best Answer

    Com sua abordagem, você deve usar joinduas vezes (ou alterar sua abordagem para fazê-lo com uma única joininvocação ):

    • imprima as linhas comuns e as linhas não pareáveis ​​de file1comjoin -t'|' -e0 -a1 -o 1.2,1.3,1.5,2.5 <(<file1 awk -F'|' '{print $1"-"$2"|"$0}' | sort -t'|' -k1,1) <(<file2 awk -F'|' '{print $1"-"$2"|"$0}' | sort -t'|' -k1,1)
    • imprima as linhas não pareáveis ​​de file2comjoin -t'|' -e0 -v2 -o 2.2,2.3,1.5,2.5 <(<file1 awk -F'|' '{print $1"-"$2"|"$0}' | sort -t'|' -k1,1) <(<file2 awk -F'|' '{print $1"-"$2"|"$0}' | sort -t'|' -k1,1)

    Você pode fazer o mesmo com uma única awkinvocação, armazenando $4em dois arrays indexados por, por exemplo $1|$2, e então no ENDbloco iterando sobre cada array de índices, comparando-os e imprimindo de acordo:

    awk -F'|' 'NR==FNR{z[$1"|"$2]=$4;next}{x[$1"|"$2]=$4}
END{for (j in x){if (!(j in z)){print j, "0", x[j]}};
for (i in z){if (i in x){print i, z[i], x[i]} else {print i, z[i], "0"}}
}' OFS="|"  file1 file2
    • 3

  2. Outra awkabordagem:

    awk -F'|' 'NR==FNR{f1[$1FS$2]=$NF;next} {f2[$1FS$2]=$NF} 
    END{for (x in f1){print x,f1[x],f2[x]?f2[x]:0; delete f2[x]};
        for (y in f2) print y, 0, f2[y]
}' file[12] OFS='|'

    Explicação:

    • NR==FNR{f1[$1FS$2]=$NF;next}, isso será executado apenas para o arquivo1 e com a combinação de teclas $1FS$2armazenará o último valor da coluna $NFno array chamado f1( FSsubstituirá pelo Field S eperator |do awk ) .
    • {f2[$1FS$2]=$NF}, igual ao anterior, mas será executado apenas para file2
    • for (x in f1){print x,f1[x],f2[x]?f2[x]:0; delete f2[x]}, faça um loop dentro da matriz f1e imprima a chave ( x), seu valor no arquivo1 f1[x]e se houver a mesma chave do arquivo1 no arquivo2, imprima também, senão imprima 0(condição ternária usada f2[x]?f2[x]:0), depois disso também estamos excluindo o registro da mesma chave do arquivo2 com delete f2[x].
    • for (y in f2) print y, 0, f2[y], agora o array f2tem registros que existem apenas no arquivo2, então estamos imprimindo a chave ( y), 0porque não existe no arquivo1 e seu valor no arquivo2 f2[y].
    • 2

  3. O seguinte substitui o primeiro |em ambos os arquivos por @(use um caractere que não ocorra em outro lugar no arquivo), executa o joine, em seguida, altera de @volta para o original |. Dessa forma, criamos um novo |campo de junção delimitado consistindo nas colunas 1 e 2 dos arquivos originais.

    join -t'|' -e0 -a1 -a2 -o0,1.3,2.3 \
    <( sed 's/|/@/' file1 | sort )  \
    <( sed 's/|/@/' file2 | sort ) |
tr '@' '|'

    Na especificação do campo de saída ( -o), um zero representa o campo de junção e a coluna 3 em qualquer arquivo é, na verdade, a coluna 4 dos dados originais.

    Para os arquivos de entrada fornecidos, isso gera

    1111|AAA|50|10
1111|BBB|30|0
1111|CCC|0|20
2222|BBB|10|0
3333|AAA|0|40
    • 2

relate perguntas