主页 / unix / 问题 / 706966
Accepted
Gavriel
Asked: 2022-06-22 04:49:34 +0800 CST

如何根据一列的值聚合 CSV 中的行

  • 772

我的输入是以下排序的 CSV 文件（:用作字段分隔符而不是通常的逗号）：

version:device
1.0.0:dev1
1.0.0:dev2
1.2.3:dev3
1.3.4:dev4
1.3.4:dev5

我想聚合它，以便每个版本都在 1 行：

version:devices
1.0.0:dev1,dev2
1.2.3:dev3
1.3.4:dev4,dev5
shell-script awk

7 个回答

  1. Best Answer

    使用 GNUdatamash按第一个冒号分隔的字段分组，折叠第二个字段：

    $ datamash -t : groupby 1 collapse 2 <file
version:device
1.0.0:dev1,dev2
1.2.3:dev3
1.3.4:dev4,dev5
    • 4

  2. 是一个非常了不起的工具：

    mlr --csv --fs : group-by version then nest --ivar , -f device file.csv

    version:device
1.0.0:dev1,dev2
1.2.3:dev3
1.3.4:dev4,dev5
    • 2

  3. 尝试

    awk -F: '$1 == before { printf ",%s",$2 ; } 
         $1 != before { printf "%s%s",nl,$0 ; before=$1 ; nl="\n" } 
         END {printf nl ; }'

    在哪里

    • -F:告诉 awk:用作分隔符
    • printf不要打印换行符，除非 tol ( "\n")
    • 这可以是单行的（例如awk -F: '....' file），为了便于阅读，我将行分开。

    这使用两个变量来保存新行 ( nl) 和上一个$1的值。

    • 1

  4. 像这样的东西应该做你想做的事。

    awk -F':' 'OFS=""; NR == 1; NR > 1 {x=$1;$1="";a[x]=a[x]$0","}END{for(x in a)print x":"a[x]}' file
    • 0 
  5. awk -F: -v OFS=: '
    NR == 1{print;next} 
    !v {v=$1;d=$2;next} 
    v == $1 {d = d","$2}
    v != $1 {print v,d;v=$1;d=$2}
    END{print v,d}
' file
    • 0 
  6. $ cat tst.awk
BEGIN { FS=OFS=":" }
$1 != prev {
    if ( NR == 1 ) {
        devs = $2 "s"
    }
    else {
        print prev, devs
        devs = $2
    }
    prev = $1
    next
}
{ devs = devs "," $2 }
END { print prev, devs }


    $ awk -f tst.awk file
version:devices
1.0.0:dev1,dev2
1.2.3:dev3
1.3.4:dev4,dev5
    • 0

  7. csvkit 的另一个解决方案：

    csvsql -d ':' --query \
    'SELECT version, GROUP_CONCAT(device) as devices FROM file GROUP BY version' file.txt \
    | csvformat -D ':'
version:devices
1.0.0:dev1,dev2
1.2.3:dev3
1.3.4:dev4,dev5
    • 0

相关问题