AskOverflow.Dev

AskOverflow.Dev Logo AskOverflow.Dev Logo

AskOverflow.Dev Navigation

  • 主页
  • 系统&网络
  • Ubuntu
  • Unix
  • DBA
  • Computer
  • Coding
  • LangChain

Mobile menu

Close
  • 主页
  • 系统&网络
    • 最新
    • 热门
    • 标签
  • Ubuntu
    • 最新
    • 热门
    • 标签
  • Unix
    • 最新
    • 标签
  • DBA
    • 最新
    • 标签
  • Computer
    • 最新
    • 标签
  • Coding
    • 最新
    • 标签
主页 / computer / 问题 / 1705492
Accepted
Priora
Priora
Asked: 2022-02-18 06:25:38 +0800 CST2022-02-18 06:25:38 +0800 CST 2022-02-18 06:25:38 +0800 CST

查找并删除带有某些标点符号的重复行附近

  • 772

我有一个包含数百万行的文本文件。有些行包含相同的字母数字序列,但大小写和标点符号不同。我认为这些行是重复的。我想删除任何包含句点的重复行,但保留另一行(另一行通常包含下划线或破折号等标点符号)

输入:

000
111
12_34
12.34
123-456-789
123.456.789
A.B.C
a_b_c
qwerty
qwertx
abcdefghijklm.nopqrstuvwxy.z
a-B-cdeFghiJklmNopqRStuvwxy__Z
22.2
33.3

期望的输出:

000
111
12_34
123-456-789
a_b_c
qwerty
qwertx
a-B-cdeFghiJklmNopqRStuvwxy__Z
22.2
33.3
awk command-line
  • 2 2 个回答
  • 66 Views

2 个回答

  • Voted
  1. Best Answer
    Toto
    2022-02-19T02:59:32+08:002022-02-19T02:59:32+08:00

    假设重复值是连续的!


    完成这项工作的 perl 脚本。

    未在大文件上测试!

    #!/usr/bin/perl
    use strict;
    use warnings;
    
    my $file = 'file1'; # path to input file
    # read the input file in memory
    open my $F, '<', $file or die "unable to open '$file': $!";
    my @list = <$F>;chomp @list;
    # delete all . - _ from each line and add this new string in the array for comparison
    my @res = map {my $tmp=$_; tr/._-//d; [lc$_,$tmp] } @list;
    # memoize the first values
    my $prev_tst = $res[0][0];  # contains the string without punctuation
    my $prev_orig = $res[0][1]; # contains original string
    # loop on other values
    for my $ind (1 .. @res-1) {
        my ($tst, $orig) = ($res[$ind][0], $res[$ind][1]);
        # te string without punctuation is the same as the previous
        if ($tst eq $prev_tst) {
            # if the previous original value contains dot
            if ($prev_orig =~  tr/.//) {
                # delete it
                undef $res[$ind-1];
            # if the current original value contains dot
            } elsif ($orig =~ tr/.//) {
                # delete it
                undef $res[$ind];
            }
        }
        # memorize value for next step
        $prev_tst = $tst;
        $prev_orig = $orig;
    }
    # write result to result file
    my $result = 'result_file'; # path to result file
    open my $R, '>', $result or die "unable to open '$result': $!";
    
    for (@res) {
        next unless defined $_; # skip undifned values
        print $R $_->[1],"\n";
    }
    
    
    
    • 1
  2. Eugen Rieck
    2022-02-18T06:37:02+08:002022-02-18T06:37:02+08:00

    类似的东西

    sed 's/\./-/g; s/__*/-/g' /path/to/infile | sort -u > /path/to/outfile
    

    应该做的伎俩

    • 0

相关问题

  • 如何在 macOS 的终端中切换切换(连续性)?

  • Windows 上是否有可以通过 CMD 或 Powershell 提供加密安全随机字节的设备或可执行文件?

  • Python 的“pass”参数的批处理等价物是什么?

  • 禁用后无法启用 Microsoft Print to PDF

  • awk 根据变量匹配提取文件中的特定模式

Sidebar

Stats

  • 问题 205573
  • 回答 270741
  • 最佳答案 135370
  • 用户 68524
  • 热门
  • 回答
  • Marko Smith

    如何减少“vmmem”进程的消耗?

    • 11 个回答
  • Marko Smith

    从 Microsoft Stream 下载视频

    • 4 个回答
  • Marko Smith

    Google Chrome DevTools 无法解析 SourceMap:chrome-extension

    • 6 个回答
  • Marko Smith

    Windows 照片查看器因为内存不足而无法运行?

    • 5 个回答
  • Marko Smith

    支持结束后如何激活 WindowsXP?

    • 6 个回答
  • Marko Smith

    远程桌面间歇性冻结

    • 7 个回答
  • Marko Smith

    子网掩码 /32 是什么意思?

    • 6 个回答
  • Marko Smith

    鼠标指针在 Windows 中按下的箭头键上移动?

    • 1 个回答
  • Marko Smith

    VirtualBox 无法以 VERR_NEM_VM_CREATE_FAILED 启动

    • 8 个回答
  • Marko Smith

    应用程序不会出现在 MacBook 的摄像头和麦克风隐私设置中

    • 5 个回答
  • Martin Hope
    Saaru Lindestøkke 为什么使用 Python 的 tar 库时 tar.xz 文件比 macOS tar 小 15 倍? 2021-03-14 09:37:48 +0800 CST
  • Martin Hope
    CiaranWelsh 如何减少“vmmem”进程的消耗? 2020-06-10 02:06:58 +0800 CST
  • Martin Hope
    Jim Windows 10 搜索未加载,显示空白窗口 2020-02-06 03:28:26 +0800 CST
  • Martin Hope
    v15 为什么通过电缆(同轴电缆)的千兆位/秒 Internet 连接不能像光纤一样提供对称速度? 2020-01-25 08:53:31 +0800 CST
  • Martin Hope
    andre_ss6 远程桌面间歇性冻结 2019-09-11 12:56:40 +0800 CST
  • Martin Hope
    Riley Carney 为什么在 URL 后面加一个点会删除登录信息? 2019-08-06 10:59:24 +0800 CST
  • Martin Hope
    zdimension 鼠标指针在 Windows 中按下的箭头键上移动? 2019-08-04 06:39:57 +0800 CST
  • Martin Hope
    jonsca 我所有的 Firefox 附加组件突然被禁用了,我该如何重新启用它们? 2019-05-04 17:58:52 +0800 CST
  • Martin Hope
    MCK 是否可以使用文本创建二维码? 2019-04-02 06:32:14 +0800 CST
  • Martin Hope
    SoniEx2 更改 git init 默认分支名称 2019-04-01 06:16:56 +0800 CST

热门标签

windows-10 linux windows microsoft-excel networking ubuntu worksheet-function bash command-line hard-drive

Explore

  • 主页
  • 问题
    • 最新
    • 热门
  • 标签
  • 帮助

Footer

AskOverflow.Dev

关于我们

  • 关于我们
  • 联系我们

Legal Stuff

  • Privacy Policy

Language

  • Pt
  • Server
  • Unix

© 2023 AskOverflow.DEV All Rights Reserve