使用 grep 从文件中删除重复行

awk -F \| '{if ($2 != 05408736032) print}'

这可能会做你想要的：

sort -t '|' -k 2,2 -u  foo.dat

但是，这会根据您可能不想要的字段对输入进行排序。如果您真的只想删除重复项，最好的选择是 Perl：

perl -ne '$a=(split "\\|")[1]; next if $h{$a}++; print;' foo.dat

纯重击：

oldIFS=$IFS
while read line
do
    IFS=$'|'
    testline=($line)  # make an array split according to $IFS
    IFS=$oldIFS       # put it back as soon as you can or you'll be sooOOoorry
    if [[ ${testline[1]} != "05408736032" ]]
    then
        echo $line
    fi
done < datafile

是否要删除第二个 | 的所有行？分隔字段包含“05408736032”？所有行的格式都相同吗？如果是这样，这应该输出文件减去那些行（它是 perl 将原始文件作为第一个参数，并将它的文件作为第二个参数）。

#!/usr/bin/perl
use warnings;
use strict;
my  ($file1, $file2) = @ARGV;
open my $origin_file, '<', $file1;
open my $newfile, '>', $file2;
while (my $line = <$origin_file>) {
    my @values = split '/|/', $line;
    print $newfile $line unless $vaules[1] = '05408736032';
}
close $newfile or die $!;
close $origin_file or die $!;

（我还没有测试过，所以你可能想在尝试之前备份原始文件）

再次阅读时，您可能只想抓取具有唯一第二列的行。这应该这样做。

#!/usr/bin/perl
use warnings;
use strict;
my  ($file1, $file2) = @ARGV;
open my $origin_file, '<', $file1;
open my $newfile, '>', $file2;
while (my $line = <$origin_file>) {
    my @values = split '/|/', $line;
    print $newfile $line unless defined $unique{$values[1]};
    $unique{$vaules[1]} += 1;
}
close $newfile or die $!;
close $origin_file or die $!;

您可以执行以下操作：

for f in `cat $file`; do 
  val=`echo $f | cut -d\| -f 2`
  if [ `grep $val $file | wc -l` -lt 2 ]; then
     echo $f
  fi
done

但是，像大多数 shell 脚本一样，它的效率很低。你最好用 perl 来做，比如：

@infile=<>;

foreach (@infile) {

  @foo = split(/|/);
  if exists $found{$foo[1]} {
    $found{$foo[1]}++;
  } else {
    $found{$foo[1]}++;
  }

}

foreach (@infile) {
  @foo = split(/|/);
  if ($found{$foo[1]} < 2) {
    print $_;
  }
}