主页 / unix / 问题 / 519631
Accepted
kris
Asked: 2019-05-18 21:21:17 +0800 CST

如何删除基于多列的重复值

  • 772

我有一个文件 tmp.log ，其中包含以下字段

description ID  valueA valueB valueC
xxx         x    1       1     1
yyy         y    3       100    23
zzz         z    0       0      0
aaa         a    4       4      4

我想删除在所有“值”列中具有相同值的数据点

description ID  valueA valueB valueC
yyy         y    3       100    23

我在用

cat tmp.log | tail -n+2 | awk '!a[$3$4$5]++'

但它仍然打印冗余值，为什么这是错误的以及如何纠正？

awk text-processing

2 个回答

  1. Best Answer

    删除第 3、4、5 列相同的行：

    awk '!($3==$4&&$4==$5)' data_file

    删除与其他行具有相同 3、4、5 列的行：

    awk '!seen[$3,$4,$5]++' data_file

    更新 n 列

    删除第 3、4、...n 列相同的行：

    awk 'v=0;{for(i=4;i<=NF;i++) {if($i!=$3) {v=1; break;}}} v' data_file
    • v=0将每条记录的 v 重置为 0
    • for(i=4;i<=NF;i++) {if($i!=$3) {v=1; break;}}从第 4 列循环到最后一列，将 v 设置为 1，如果它与第 3 列不同则中断
    • v如果 v 不为 0，则打印。

    删除与其他行具有相同 3,4,...n 列的行：

    awk '(l=$0) && ($1=$2=""); !seen[$0]++ {print l}' data_file
    • (l=$0) && ($1=$2="")备份原始行，清空第一列和第二列，重建$0。这个表达式总是被评估为假，所以它不会打印任何东西。请注意，&&优先于=，这就是您需要()它们的原因；
    • !seen[$0]++ {print l}通常的seen技巧，如果以前没见过，请打印原始行。
    • 4

  2. 命令：awk '$3!=$4 && $4!=$5&& $5 !=$3 {print $0}' filename

    输出

    awk '$3!=$4 && $4!=$5&& $5 !=$3 {print $0}' filename
description ID  valueA valueB valueC
yyy         y    3       100    23
    • -1

相关问题