主页 / unix / 问题 / 428633
Accepted
EDubman
Asked: 2018-03-07 14:30:29 +0800 CST

使用 awk/join 加入基于列的条目

  • 772

我有两个用竖线分隔的文件，并且可能在两者中都有第 1 列+第 2 列匹配，或者一个文件可能有条目而另一个文件没有。假设我的匹配键值等于 $1"-"$2 使用管道 '|' 作为FS。

文件 1

1111|AAA|foo|50
1111|BBB|foo|30
2222|BBB|foo|10

文件2

1111|AAA|bar|10
1111|CCC|bar|20
3333|AAA|bar|40

第一个条目所需的输出如下（我有这个工作）

1111|AAA|50|10

对于第二个条目 file1（如果两个文件中都没有匹配的 column1+column2，则将 foo 缺少的条目替换为 0。反之亦然）

1111|BBB|30|0

对于 file2 中的条目键（column1+column2），而不是 file1 中的条目键（这是文件 2 预期输出的条目 3）

3333|AAA|0|40

因此，所需的输出整体格式是列出两个文件中由 column1+column2 表示的所有唯一键。第 3 列条目是来自 file1 第 4 列的值（如果文件 1 中不存在值，则为 0）和输出中的第 4 列作为文件 2 的第 4 列中的值（如果值在 file2 中不存在，则为 0 ）。

我已经做了很多研究并尝试了很多事情，但是如果使用以下命令在 file2 中存在 column1+column2 对而不是在 file1 中，则我的值不会输出：

join -t"|" -e0 -a1 -a2 -o 1.2,1.3,1.5,2.5 <(<file1 awk -F"|" '{print $1"-"$2"|"$0}' | sort -k1,1) <(<file2 awk -F"|" '{print $1"-"$2"|"$0}' | sort -k1,1)

如果file1中存在column1+column2匹配但file2中没有匹配，则上述情况给出了预期的输出，并为不存在的匹配附加了一个0......我怎样才能让它适用于所有场景？

上面的命令将通过在两个文件的第 1 列中添加一个键来执行一些进程替换，即 column1+column2，然后根据该新键加入。-e0 如果此键存在于 file1 但不存在于 file2 中，则添加 0。如何让它涵盖以下情况：文件 2 中存在新密钥（column1-column2）但文件 1 中不存在？

awk text-processing

3 个回答

  1. Best Answer

    使用您的方法，您必须使用join两次（或通过一次join调用更改您的方法）：

    • file1从with打印公共线和不可配对的线join -t'|' -e0 -a1 -o 1.2,1.3,1.5,2.5 <(<file1 awk -F'|' '{print $1"-"$2"|"$0}' | sort -t'|' -k1,1) <(<file2 awk -F'|' '{print $1"-"$2"|"$0}' | sort -t'|' -k1,1)
    • file2从with打印不可配对的行join -t'|' -e0 -v2 -o 2.2,2.3,1.5,2.5 <(<file1 awk -F'|' '{print $1"-"$2"|"$0}' | sort -t'|' -k1,1) <(<file2 awk -F'|' '{print $1"-"$2"|"$0}' | sort -t'|' -k1,1)

    您可以通过一次awk调用执行相同的操作，将存储$4在由 eg 索引的两个数组中$1|$2，然后在END块中迭代每个数组索引，比较它们并相应地打印：

    awk -F'|' 'NR==FNR{z[$1"|"$2]=$4;next}{x[$1"|"$2]=$4}
END{for (j in x){if (!(j in z)){print j, "0", x[j]}};
for (i in z){if (i in x){print i, z[i], x[i]} else {print i, z[i], "0"}}
}' OFS="|"  file1 file2
    • 3

  2. 另一种awk方法：

    awk -F'|' 'NR==FNR{f1[$1FS$2]=$NF;next} {f2[$1FS$2]=$NF} 
    END{for (x in f1){print x,f1[x],f2[x]?f2[x]:0; delete f2[x]};
        for (y in f2) print y, 0, f2[y]
}' file[12] OFS='|'

    解释：

    • NR==FNR{f1[$1FS$2]=$NF;next}，这将只对 file1 运行，并且使用 的键组合$1FS$2将最后一列值存储$NF在调用的数组中f1（FS将替换|为 awk 的Field S eperator）。
    • {f2[$1FS$2]=$NF}, 与上面相同，但这只对 file2 运行
    • for (x in f1){print x,f1[x],f2[x]?f2[x]:0; delete f2[x]}，在数组中循环f1并打印键（x），它在file1中的值f1[x]，如果file2中有相同的file1键，则也打印它，否则打​​印0（使用三元条件f2[x]?f2[x]:0），之后我们也从file2中删除相同键的记录delete f2[x].
    • for (y in f2) print y, 0, f2[y]，现在数组f2的记录只存在于 file2 中，所以我们打印它们的键 ( y)，0因为 file1 中不存在它们的值，而它们的值在 file2 中f2[y]。
    • 2

  3. 以下将|两个文件中的第一个替换为@（使用文件中其他地方没有出现的字符），执行join然后将@后面更改为原始|. 这样，我们创建了一个|由原始文件的第 1 列和第 2 列组成的新的分隔连接字段。

    join -t'|' -e0 -a1 -a2 -o0,1.3,2.3 \
    <( sed 's/|/@/' file1 | sort )  \
    <( sed 's/|/@/' file2 | sort ) |
tr '@' '|'

    在输出字段规范 ( -o) 中，零表示连接字段，任一文件中的第 3 列实际上是原始数据的第 4 列。

    对于给定的输入文件，这会生成

    1111|AAA|50|10
1111|BBB|30|0
1111|CCC|0|20
2222|BBB|10|0
3333|AAA|0|40
    • 2

相关问题