como copiar uma coluna de outro arquivo quando o ID corresponder

Supondo que o campo no qual você deseja mesclar/juntar os dados esteja classificado:

$ join -1 4 -o1.1,1.2,1.3,0,2.2 file1 file2
1 115258827 12 HG00099 0|0
1 115258827 5 HG00100 0|1
1 115258827 8 HG00101 0|0
1 115258827 6 HG00103 0|0

Isso une os dois arquivos na quarta coluna de file1(especificado usando -1 4, já que não é a primeira coluna desse arquivo) e na primeira coluna de file2(essas são as colunas nas quais os arquivos precisam ser classificados).

O -osinalizador informa joinquais campos gostaríamos de ver na saída e de qual arquivo eles devem ser obtidos ( 1.3significa "o terceiro campo do primeiro arquivo", por exemplo, e 0significa o campo de junção).

O benefício de usar joiné que nenhum arquivo precisa ser lido na memória completamente.

Se os arquivos não estiverem classificados, você pode pré-classificá-los de uma vez por todas usando

sort -k4 -o file1 file1
sort     -o file2 file2

ou, se você estiver usando um shell que entenda a substituição de processos, poderá classificá-los ao mesmo tempo em que faz a junção usando

join -1 4 -o1.1,1.2,1.3,0,2.2 <( sort -k4 file1 ) <( sort file2 )

São os dados classificados que permitem joinmanter apenas algumas linhas de cada arquivo na memória por vez.

Tentar:

awk 'FNR==NR{seen[$1]=$2; next} seen[$NF]{print $0, seen[$NF]}' file2 file1

Com a chave da coluna $ 1, salve o valor correspondente da coluna $ 2 em um array associado chamado visto quando o awk lê apenas do arquivo 2 onde NR==FNR(sempre verdadeiro para o primeiro arquivo de entrada quando há vários arquivos de entrada para ler), NRserá definido como 1 no primeiro registro /line lido por awk e incrementado até que todos os registros/linhas sejam lidos se um único arquivo de entrada ou vários arquivos; FNRserá definido como 1 no primeiro registro/linha lido por awk e incrementado até que todos os registros/linhas sejam lidos no arquivo de entrada atual e será redefinido para 1 no próximo arquivo.

O próximo bloco, se o valor da última coluna corresponder ao mesmo valor de chave na matriz, imprima a linha inteira do arquivo1 e o valor da mesma chave na matriz.