Tenho dificuldade em descobrir como remover sequências de texto duplicadas, mas incompletas. Nenhum sucesso usando perl, awkou sed.
Eu preciso transformar:
a b
a b c
a b c d
a b c d e
a b c d x
a b c d z
em
a b
a b c d e
a b c d x
a b c d z
Todo padrão incompleto deve ser excluído, mas (1) nem cada string final completa e única e (2) nem strings com duas palavras de comprimento.
Todas as respostas que encontrei foram remoção de endereços de duplicatas idênticas.