Removendo linhas cuja primeira coluna está duplicada

Sem usar awk muito :

$ awk -v OFS="<" '{ print NR, $0 }' file | sort -t '<' -u -k2,2 | sort -t '<' -k1,1n | cut -d '<' -f 2-
aaa<vvv>bbb<vvv>ccc
xxx<vvv>yyy<vvv>zzz
111<vvv>222<vvv>333

Isso só serve awkpara inserir um número de linha seguido de <nos dados originais. Fazemos isso para poder acompanhar a ordenação das linhas originais. Usamos <como delimitador entre o número da linha e o resto da linha porque este também aparece como delimitador entre o primeiro campo original e o resto da linha.

Após o primeiro estágio do pipeline, no qual awké usado para inserir os números das linhas, os dados ficarão como

1<aaa<vvv>bbb<vvv>ccc
2<xxx<vvv>yyy<vvv>zzz
3<aaa<vvv>new<vvv>new2
4<111<vvv>222<vvv>333

A próxima etapa do pipeline classifica isso no segundo campo (o primeiro campo original), removendo duplicatas. O resultado será

4<111<vvv>222<vvv>333
1<aaa<vvv>bbb<vvv>ccc
2<xxx<vvv>yyy<vvv>zzz

O segundo sortrestaura a ordem de linha original ordenando as linhas no primeiro campo numericamente, e obtemos

1<aaa<vvv>bbb<vvv>ccc
2<xxx<vvv>yyy<vvv>zzz
4<111<vvv>222<vvv>333

O cutentão remove os números do primeiro campo (e o delimitador inserido).

Uma solução que fornece saída ordenada sem usar awknada pareceria

$ sort -t '<' -u -k1,1 file
111<vvv>222<vvv>333
aaa<vvv>bbb<vvv>ccc
xxx<vvv>yyy<vvv>zzz

Esta é essencialmente a segunda etapa no pipeline acima e classifica o arquivo no primeiro campo enquanto remove duplicatas.

Uma awksolução seria como

$ awk -F '<' '!seen[$1]++' file
aaa<vvv>bbb<vvv>ccc
xxx<vvv>yyy<vvv>zzz
111<vvv>222<vvv>333

Isso armazena o primeiro campo como uma chave em uma matriz associativa chamada seene pós-incrementa o valor associado. Se o valor na matriz para a chave fornecida for zero (ou seja, este primeiro campo não foi visto antes), a linha é impressa.

Ou equivalentemente com nem awknem cut, mas com sed:

$ sed '=' file \
      | sed 'N;s/\n/</' \
      | sort -t"<" -u -k2,2 \
      | sort -t"<" -k1,1 \
      | sed 's/^[0-9]*<//'
aaa<vvv>bbb<vvv>ccc
xxx<vvv>yyy<vvv>zzz
111<vvv>222<vvv>333

Mas isso é muito chato. A última solução do @Kusalananda (baseada em awk) é muito melhor.

Apenas por uma questão de pedagogia, os dois primeiros sedblocos acima, são equivalentes ao cmd mais compacto de Kusalananda awk:

• sed '=' file, imprime números de linha para pedidos futuros
• sed 'N;s/\n/</', acrescenta a próxima linha de entrada no espaço do padrão (ou seja, "junta as linhas atual e seguinte") e substitui o final da linha \npor <.

A 3ª e última seddica, sed 's/^[0-9]*<//', substitui o número da linha e o "<" colocado no início de cada linha, sem nada.

Para obter mais detalhes sobre o sedproblema, $ info sedem seu console.

Usando GNU sed, podemos fazer a tarefa como dada:

$ sed -Ene '
   G
   /^([^<]+)<vvv>.*\n\1(\n|$)/d
   P;s/<vvv>.*//;H
 ' input.txt

Armazene o primeiro campo no espaço de espera e compare-o com o primeiro campo da linha atual. Somente quando forem diferentes, atualize a espera como também imprima a linha atual.

Tentei com abaixo de 2 métodos

Method1

 awk -F "<" '{if (!seen[$1]++)print }' filename

Method2

awk -F "<" '!a[$1]++' filename

resultado

aaa<vvv>bbb<vvv>ccc
xxx<vvv>yyy<vvv>zzz
111<vvv>222<vvv>333