删除重复但不完整的文本字符串

假设满足以下所有条件：

• 此文件中的字符串已排序（这意味着，您要删除的“不完整重复项”后面跟着包含它的行）

• 您只想匹配行的开头，因此例如在以下序列中，第一行不会被删除（第二行包含第一行，但不以相同的序列开头

  a b c d
  e a b c d
  

这与以下非常相似：使用 sed 或 awk，每当下一行以相同内容开头后跟斜杠时，如何删除该行？

这是一个可能的解决方案：

awk 'NR==1 {prev=$0; next} index($0 ,prev" ") != 1 || split(prev, _) == 2 {print prev} {prev=$0} END {if (NR>0) print prev}' FILENAME

为了便于阅读，可以多行显示：

awk '
  NR==1 {prev=$0; next}
  index($0, prev" ") != 1 || split(prev, _) == 2 {print prev}
  {prev=$0}
  END {if (NR>0) print prev}
  ' FILENAME

1. 将文件的第一行复制到名为的变量中prev并跳到下一行。
2. 从第二行开始，检查prev" "(prev末尾有一个空格) 是否与当前行 ( $0) 的开头（索引 1）匹配。如果不匹配，则打印上一行。
3. 如果前一行恰好由 2 个单词组成 ( split(prev, _) == 2)，则仍然打印它
   • 我使用下划线_只是split(prev, _)为了提示我不会使用由此产生的数组split。
4. 将当前行 ( $0) 复制到prev。
5. 当awk读取文件完成后，打印最后一行（prev），除非文件为空。

例子：

$ cat testfile
a b
a b c
a b c d
a b c d e
a b c d x
a b c d z

$ awk '
  NR==1 {prev=$0; next}
  index($0, prev" ") != 1 || split(prev, _) == 2 {print prev}
  {prev=$0}
  END {if (NR>0) print prev}
  ' testfile
a b
a b c d e
a b c d x
a b c d z

#! /usr/bin/awk -f

{
    arr_stock[NR] = $0
    arr_nf[NR] = NF
    if (DEBUG) printf("STO:%d:%s:\n", NR, arr_stock[NR])
}

END {
    for (i_stock = 1; i_stock <= NR; i_stock++) {
        flag_found = 0
        motif = arr_stock[i_stock]
        if (DEBUG) printf("- MOT:%d:%d:%s:\n", i_stock, arr_nf[i_stock], motif)
        if (arr_nf[i_stock] > 2) {
            for (i_stock_2 = 1; i_stock_2 <= NR; i_stock_2++) {
                if (DEBUG) printf("  - TST:%d:%s:\n", i_stock_2, arr_stock[i_stock_2])
                if (i_stock != i_stock_2 && arr_stock[i_stock_2] ~ ("^" motif) && arr_stock[i_stock_2] != motif) {
                    if (DEBUG) printf("    - FOUND\n")
                    flag_found = 1
                    break
                }
            }
        }
        if (flag_found == 0) {
            printf("%s\n", motif)
        }
    }
}

使用 anyawk和sort：

$ cat tst.sh
#!/usr/bin/env bash

sort -r "${@:--}" |
awk '
    (NF == 2) || (index(prev" ",$0" ") != 1)
    { prev = $0 }
' |
sort

$ ./tst.sh file
a b
a b c d e
a b c d x
a b c d z

" "中每个字符串末尾的是index()必需的，这样，a b d就不会错误地匹配为 的子字符串a b dog（假设我们只想要全字比较），并且a b e会与自身匹配（假设我们想要删除完全重复的行以及子字符串行），例如给出这个更全面的示例输入：

$ cat file2
a b
a b c
a b c d
a b c d e
a b c d x
a b c d z
a b d
a b dog
a b e
a b e

我们得到了预期的输出：

$ ./tst.sh file2
a b
a b c d e
a b c d x
a b c d z
a b d
a b dog
a b e

通过上述脚本，我们首先对输入进行排序，以便较长的字符串出现在以相同字符开头的较短字符串之前，从而使 awk 可以轻松测试当前字符串是否是前一个字符串的子字符串，然后我们再次排序以获得最终输出。

这种首先排序的方法意味着无论输入的顺序如何它都会起作用，例如：

$ shuf file2 > file3

$ cat file3
a b
a b c d
a b c d z
a b dog
a b c d e
a b c d x
a b c
a b e
a b d
a b e

$ ./tst.sh file3
a b
a b c d e
a b c d x
a b c d z
a b d
a b dog
a b e

如果我们还希望输出顺序与上述未排序输入的输入顺序相同，我们可以应用Decorate-Sort-Undecorate 习语，先添加原始行号，然后按顺序排序并在最后删除它们：

$ cat tst2.sh
#!/usr/bin/env bash

awk -v OFS='\t' '{print NR, $0}' "${@:--}" |
sort -r -k2 |
awk -v OFS='\t' '
    { nr=$1; sub(/[^\t]+\t/,"") }
    (NF == 2) || (index(prev" ",$0" ") != 1) {
        print nr, $0
    }
    { prev = $0 }
' |
sort -nk1 |
cut -f2-

$ ./tst2.sh file3
a b
a b c d z
a b dog
a b c d e
a b c d x
a b e
a b d