Compare 2 arquivos com base na primeira coluna e imprima o não correspondido

Você pode usar greppara isso:

$ grep -vwf <(cut -d, -f1 file1) file2
test4

Explicação

• grepopções:

  -v, --invert-match
        Invert the sense of matching, to select non-matching lines.
  -w, --word-regexp
        Select  only  those  lines  containing  matches  that form 
        whole words.  
  -f FILE, --file=FILE
        Obtain patterns from FILE, one per line.  
  

  Então, combinado, grep -vwf patternFile inputFilesignifica "encontre aquelas linhas de patternFile que nunca estão presentes como palavras inteiras em inputFile".

• <(command): isso é chamado de substituição de processo e, nos shells que o suportam (por exemplo, bash), ele funcionará essencialmente como um arquivo. Isso nos permite usar a saída do cutcomando como um "arquivo" para a -fopção do grep.

• cut -d, -f1 file1: imprime apenas o 1º campo separado por vírgulas do arquivo1.

Observe que você pode querer usar -x(corresponder a linha inteira) em vez de apenas -wse seus dados forem realmente como você mostra:

  -x, --line-regexp
          Select  only  those  matches  that exactly match the whole line.

Então:

$ grep -vxf <(cut -d, -f1 file1) file2
test4

Além disso, se você file1puder conter quaisquer caracteres de expressão regular ( ., *, ?etc.), convém usar -Ftambém:

  -F, --fixed-strings
          Interpret PATTERNS as fixed strings, not regular expressions.

Então:

$ grep -Fvxf <(cut -d, -f1 file1) file2
test4

Usando cute grep:

grep -F -x -v -f <(cut -d',' -f1 file1) file2

cut -d',' -f1 file1imprime o primeiro campo de file1e grepestá usando a saída como arquivo de entrada padrão (opção -f). As opções -Fe -xsão usadas para combinar strings fixas e linhas inteiras e -vinverter as correspondências.

:~$ cat > toto
a b
c d
e f
:~$ cat > titi
a b
d e
f g
:~$ awk 'NR==FNR{c[$1]++;next};c[$1] == 0' toto titi
d e
f g

Este é apenas um exemplo que recebo da minha lista de exemplos, você pode usá-lo para solucionar suas próprias necessidades.

Uma awkpossibilidade assumindo que o primeiro campo file1contém o nome do arquivo e o separador de campo é sempre um,

awk -F"," 'NR==FNR{test[$1]=1}NR!=FNR{if (!test[$1]) print $1}' file1 file2

(Veja a versão simplificada do @Terdon nos comentários e depois combine com a minha

awk -F"," 'NR==FNR{test[$1]++}!test[$1]{print $1}' file1 file2

)

Uso alternativojoin

join -t, -v2 <(sort file1) <(sort file2)

Para exatamente essa configuração,

grep -ffile2 -v file1
test3

vai fazer. Mas - esteja ciente de, por exemplo, falsos positivos que precisariam de medidas adicionais a serem tomadas.