主页 / unix / 问题 / 528855
Accepted
jonny b
Asked: 2019-07-08 14:14:31 +0800 CST

当字符串出现在多行时，如何从文件中删除行？

  • 772

我有一个包含 2 列的文件，如下所示：

apple pear
banana pizza
spoon fork
pizza plate
sausage egg

如果一个单词出现在多行上，我想删除重复单词出现的所有行，如您所见 'pizza' 出现两次，因此应删除 2 行，以下是所需的输出：

apple pear
spoon fork
sausage egg

我知道使用：

awk '!seen[$1]++'

但是，这只会在字符串出现在一列中时删除行，我需要一个命令来检查两列。我怎样才能做到这一点？

awk sed

2 个回答

  1. Best Answer

    一个基本的两步方法是创建一个非唯一单词列表，并将其传递给grep -v.

    对于第一部分，您可以使用sortand uniq -d（在序列化单词之后 - 也许使用tr）或 - 如果您想继续使用awk，例如：

    awk -vRS='[ \t\n]' 'seen[$0]++' file

    它将记录拆分为空白并打印以前见过的记录。所以

    $ awk -vRS='[ \t\n]' 'seen[$0]++' file | grep -Fvf- file
apple pear
spoon fork
sausage egg
    • 1

  2. 尝试使用以下命令

    for i in `cat filename| perl -pne "s/ /\n/g"| sort| uniq`; do j=`grep -c $i p.txt`; if [[ $j -eq 2 ]]; then sr=`echo $i`; else sed -n '/'$i'/p' p.txt| sed -n '/'$sr'/!p'; fi; done| awk '{if (!seen[$0]++)print $0}'

    输出

    apple pear
sausage egg
spoon fork
    • 0

相关问题