删除第一列重复的行

不用awk 太多：

$ awk -v OFS="<" '{ print NR, $0 }' file | sort -t '<' -u -k2,2 | sort -t '<' -k1,1n | cut -d '<' -f 2-
aaa<vvv>bbb<vvv>ccc
xxx<vvv>yyy<vvv>zzz
111<vvv>222<vvv>333

这仅用于awk将行号插入<到原始数据中。我们这样做是为了能够跟踪原始行的顺序。我们将<其用作行号和行的其余部分之间的分隔符，因为这也显示为原始第一个字段和行的其余部分之间的分隔符。

在awk用于插入行号的管道的第一阶段之后，数据将如下所示

1<aaa<vvv>bbb<vvv>ccc
2<xxx<vvv>yyy<vvv>zzz
3<aaa<vvv>new<vvv>new2
4<111<vvv>222<vvv>333

管道的下一步在第二个字段（第一个原始字段）上对其进行排序，删除重复项。结果将是

4<111<vvv>222<vvv>333
1<aaa<vvv>bbb<vvv>ccc
2<xxx<vvv>yyy<vvv>zzz

第二个sort通过对第一个字段上的行进行数字排序来恢复原始行顺序，我们得到

1<aaa<vvv>bbb<vvv>ccc
2<xxx<vvv>yyy<vvv>zzz
4<111<vvv>222<vvv>333

然后cut从第一个字段（和插入的分隔符）中删除数字。

一个完全不使用就给出有序输出的解决方案awk看起来像

$ sort -t '<' -u -k1,1 file
111<vvv>222<vvv>333
aaa<vvv>bbb<vvv>ccc
xxx<vvv>yyy<vvv>zzz

这本质上是上述管道中的第二步，它在第一个字段上对文件进行排序，同时删除重复项。

一个awk解决方案看起来像

$ awk -F '<' '!seen[$1]++' file
aaa<vvv>bbb<vvv>ccc
xxx<vvv>yyy<vvv>zzz
111<vvv>222<vvv>333

这会将第一个字段作为键存储在一个名为的关联数组中seen，并后递增关联的值。如果给定键的数组中的值为零（即，以前没有见过第一个字段），则打印该行。

或等效地既不awk也不cut，但与sed：

$ sed '=' file \
      | sed 'N;s/\n/</' \
      | sort -t"<" -u -k2,2 \
      | sort -t"<" -k1,1 \
      | sed 's/^[0-9]*<//'
aaa<vvv>bbb<vvv>ccc
xxx<vvv>yyy<vvv>zzz
111<vvv>222<vvv>333

但这非常笨拙。@Kusalananda 的最后一个（基于 awk 的）解决方案要好得多。

只是为了教学，sed上面的前两个块相当于 Kusalananda 更紧凑的awkcmd ：

• sed '=' file, 打印行号以供将来订购
• sed 'N;s/\n/</', 在模式空间中附加下一个输入行（即“连接当前行和下一行”）并将行尾替换\n为<.

第三个也是最后一个sed花絮，sed 's/^[0-9]*<//'替换行号和放在每行开头的“<”，什么都没有。

有关更多详细信息sed，$ info sed请在您的控制台中发布。

使用 GNU sed 我们可以完成给定的任务：

$ sed -Ene '
   G
   /^([^<]+)<vvv>.*\n\1(\n|$)/d
   P;s/<vvv>.*//;H
 ' input.txt

将第一个字段存储在保持空间中，并将其与当前行的第一个字段进行比较。只有当它们不同时，才更新保持，同时打印当前行。

尝试了以下2种方法

Method1

 awk -F "<" '{if (!seen[$1]++)print }' filename

Method2

awk -F "<" '!a[$1]++' filename

输出

aaa<vvv>bbb<vvv>ccc
xxx<vvv>yyy<vvv>zzz
111<vvv>222<vvv>333