Início / unix / Perguntas / 698668
Accepted
Sollosa
Asked: 2022-04-11 06:32:38 +0800 CST

corresponda ao valor2 em 2 arquivos se o valor 1 for uma correspondência exata

  • 772

Eu tenho 2 arquivos contendo list. A coluna 1 é userIds e a coluna 2 são valores associados

# cat file1
e3001 75
n5244 30
w1453 500

#cat file2
d1128 30
w1453 515
n5244 30
e3001 55

Coisas a considerar.

  1. userIds podem não ser classificados exatamente em ambos os arquivos
  2. O número de userIds pode variar nos arquivos

REQUERIDOS

  • em primeiro lugar, o userId do arquivo1:column1 deve corresponder ao UserId no arquivo2:column1
  • em seguida, compare seus valores em file1:column2 com file2:column2
  • print onde os valores tem variância. também userIds extras, se houver

RESULTADO:

e3001 has differnece, file1 value: 75 & file2 value: 55
w1453 has differnece, file1 value: 500 & file2 value: 515
d1128 is only present in filename: file1|file2

solução com 1liner-awk ou loop bash é bem-vinda

Estou tentando fazer um loop, mas está cuspindo lixo, acho que há algum erro de lógica

#!/usr/bin/env bash

## VARIABLES
FILE1=file1
FILE2=file2
USERID1=(`awk -F'\t' '{ print $1 }' ${FILE1}`)
USERID2=(`awk -F'\t' '{ print $1 }' ${FILE2}`)
USERDON1=(`awk -F'\t' '{ print $2 }' ${FILE1}`)
USERDON2=(`awk -F'\t' '{ print $2 }' ${FILE2}`)

for user in ${USERID1[@]}
do
    for (( i = 0; i < "${#USERID2[@]}"; i++ ))
    #for user in ${USERID2[@]}
    do
        if [[ ${USERID1[$user]} == ${USERID2[i]} ]]
        then
            echo ${USERID1[$user]} MATCHES BALANCE FROM ${FILE1}: ${USERDON1[$i]} WITH BALANCE FROM ${FILE2}: ${USERDON2[$i]}
        else
            echo ${USERID1[$user]} 
        fi
    done
done

Abaixo está o arquivo copiado diretamente da caixa linux. É separado por tab, mas o awk também funciona com tab, até onde eu sei.

#cat file1
e3001   55
n5244   30
w1453   515
bash shell-script

5 respostas

  1. Best Answer

    Hmmm - seu roteiro segue a rota cênica, por assim dizer. Que tal uma abordagem simples awk? Curti

    awk '
NR==FNR         {ARR[$1] = $2
                 F1      = FILENAME
                 next
                }
($1 in ARR)     {if ($2 != ARR[$1]) print $1 " has difference," \
                                          F1 " value: " ARR[$1] \
                                          " & " FILENAME " value: " $2 
                 delete ARR[$1]
                 next
                }
                {print $1 " is only present in filename: " FILENAME
                }
END             {for (a in ARR) print a " is only present in filename: " F1
                }
' file[12]
d1128 is only present in filename: file2
w1453 has difference, file1 value: 500 & file2 value: 515
e3001 has difference, file1 value: 75 & file2 value: 55

    Ele lê todo o arquivo1 em um array, então, com cada linha no arquivo2, verifica $1os índices do array e, se presente, imprime a diferença (ou não imprime se não houver), e deleteé o elemento do array (que deletepode ser ausente em algumas implementações awk, BTW). Se não estiver presente, imprima em conformidade. Na ENDseção, todos os elementos restantes da matriz são impressos, pois existem apenas no arquivo1.

    • 3

  2. O shell é uma ferramenta horrível para esse tipo de coisa. Além disso, como regra geral, você deve evitar CAPS para suas variáveis ​​de shell em seus scripts de shell. Como, por convenção, as variáveis ​​de shell do ambiente global são capitalizadas, isso pode levar a colisões de nomenclatura e problemas difíceis de depurar. Finalmente, seu script requer a leitura do arquivo 4 vezes separadas (!) e o processamento dos dados.

    Com isso dito, aqui está outra abordagem awk (francamente, a de RudiC é melhor, mas eu já escrevi isso, então estou postando de qualquer maneira):

    $ awk '{
  if(NR==FNR) {
    fn1=FILENAME;
    f1[$1]=$2;
    next
  }
  f2[$1]=$2;
  if($1 in f1){
    if($2 != f1[$1]){
      printf "%s is different; %s value: %s & %s value: %s\n", \
             $1,fn1,$2,FILENAME,f1[$1]
    }
  }
  else{
    print $1,"is only present in filename:", FILENAME
  }
}
END{
  for(id in f1){
    if( !(id in f2) ){print id,"is only present in afilename:",fn1}
  }
}' file1 file2
d1128 is only present in filename: file2
w1453 is different; file1 value: 515 & file2 value: 500
e3001 is different; file1 value: 55 & file2 value: 75
    • 2

  3. Os comentários são autoexplicativos:

    awk '
    BEGIN {file1 = ARGV[1]; file2 = ARGV[2]}

    # Load all file1 contents
    NR == FNR {map[$1] = $2; next}
    
    # If $1 is not in m then this key is unique to file2
    !($1 in map) {uniq[$1]; next}

    # If $1 is in m and the value differs there are delta
    # between the two files. Save it.
    $1 in map && map[$1] != $2 {diff[$1] = $2; next}

    # The two files have all the same data.
    {delete map[$1]}

    END {
        # Anything is in diff are in both files but
        # with different values
        for ( i in diff )
            print i, "has difference,", file1, "value:", map[i], "&", file2, "value:", diff[i]

        # Anything is still in m is only in file 1
        for ( i in map )
            if (!(i in diff))
                print i, "is only present in filename :", file1

        # Anything is in uniq is unique to file2
        for ( i in uniq )
            print i, "is only present in filename :", file2
    }
' file1 file2
    • 2 
  4. awk 'function printUniq(Id, fName){
         printf("%s is only present in filename: %s\n", Id, fName)
}

{ fileName[nxtinput+0]=FILENAME }
!nxtinput{ Ids[$1]=$2; next }

($1 in Ids){ if($2!=Ids[$1])
                 printf ("%s has difference, %s value: %s & %s value: %s\n",\
                 $1, fileName[0], Ids[$1], fileName[1], $2);
             delete Ids[$1];
             next
}
{ printUniq($1, fileName[1]) }
END{ for(id in Ids) printUniq(id, fileName[0]) }' file1 nxtinput=1 file2
    • 1

  5. Essencialmente a mesma solução postada por RudiC, mas sem todos os nomes de variáveis ​​em maiúsculas e com algumas outras pequenas melhorias para clareza:

    $ cat tst.awk
NR==FNR {
    file1[$1] = $2
    next
}
$1 in file1 {
    if ( $2 != file1[$1] ) {
        printf "%s has difference, %s value: %s & value: %s\n", $1, ARGV[1], file1[$1], FILENAME, $2
    }
    delete file1[$1]
    next
}
{
    print $1, "is only present in filename:", FILENAME
}
END {
    for ( id in file1 ) {
        print id, "is only present in filename:", ARGV[1]
    }
}


    $ awk -f tst.awk file1 file2
d1128 is only present in filename: file2
w1453 has difference, file1 value: 500 & value: file2
e3001 has difference, file1 value: 75 & value: file2
    • 1

relate perguntas