主页 / unix / 问题 / 432151
Accepted
αғsнιη
Asked: 2018-03-20 10:32:41 +0800 CST

删除 CSV 文件中每个字段中的重复模式/条目

  • 772

如何使用以下示例作为数据删除每个单独字段中的重复条目。

0x,9.4,,,#0,#UNIX#unix,#cli#L#فا#0#فا#0#L#SE#Cli#SE,#فارسی#فارسی#۱#1#١#1,bsh,#V & v

预期输出（删除所有重复的，不区分大小写，Unicode“波斯语#۱/阿拉伯语#١”的差异，条目的顺序以及应该保留哪个条目（忽略大小写）在这里无关紧要）：

0x,9.4,,,#0,#unix,#cli#L#فا#0#SE,#فارسی#١#۱#1,bsh,#V & v

模式采用这种格式#x，x表示一个或多个字符长度的任何内容。

波斯语/阿拉伯语字母/数字差异的 Unicode 表

awk text-processing

3 个回答

  1. Best Answer

    在带有适当解析器的 shell 中使用

    perl -CS -Mopen=":std,IN,OUT,IO,:encoding(utf8)" -MText::CSV -lne '
    BEGIN{
        our $csv = Text::CSV->new({ sep_char => "," });
        sub uniq { my %seen;  grep !$seen{lc $_}++, @_; }
    };
    $csv->parse($_) or die "parse error";
    print join ",", map { join "#", uniq split /#/ } $csv->fields();
' file.csv

    输出 ：

    0x,9.4,,,#0,#UNIX,#cli#L#فا#0#SE,#فارسی#۱#1#١,bsh,#V & v

    笔记 ：

    • 需要安装Text::CSVperl 模块：sudo apt-get install libtext-csv-perl适用于 debian 和衍生产品
    • 1

  2. 完整的Python解决方案：

    uniq_arabic_csv.py脚本：

    #!/bin/python

import sys, re

csv_data = sys.stdin.read().strip()
result = []

for item in csv_data.split(','):
    matches = list(re.finditer(r'#[^#]+', item, re.U | re.I))
    if not matches or len(matches) == 1:
        result.append(item)
    else:
        s, res = set(), []
        for m in matches:
            m = m.group()
            if m.lower() not in s: res.append(m)
            s.add(m.lower())
        result.append(''.join(res))

result = ','.join(result)                    
print(result)

    用法：

    s="0x,9.4,,,#0,#UNIX#unix,#cli#L#فا#0#فا#0#L#SE#Cli#SE,#فارسی#فارسی#۱#1#۱#1,bsh,#V & v"
python uniq_arabic_csv.py <<<"$s"

    输出：

    0x,9.4,,,#0,#UNIX,#cli#L#فا#0#SE,#فارسی#۱#1,bsh,#V & v
    • 1

  3. 我也在下面的简单解决方案中编码awk：

    awk -F, '{ i=0; comma=""; while (++i<=NF) {
    if ( split(tolower($i), arr, /#/)>1 ){ for(v in arr) !unq[arr[v]]++;printf comma;
        for (x in unq) {printf (x!="")?hash""x:""; hash="#"; delete unq[x]}}
    else {printf comma""$i; comma=","}}; print ""
}' infile.csv
    • 0

相关问题