主页 / unix / 问题 / 566240
Accepted
Tim
Asked: 2020-02-07 21:08:25 +0800 CST

在不扰乱顺序的情况下加入具有许多字段的 csv

  • 772

我有 2 个 csv 文件。第一个文件很大（> 400 个字段和许多行> 1 mil），需要通过匹配的连接附加另一个字段。

我想加入一个领域 $170

我努力了

gawk 'BEGIN {OFS=FS=","} NR==FNR{b[$1]=$2; next} 
$170 in b {print $0,b[$170]}
' b a

根据 Why is not this awk command doing a full outer join? （参见@cuonglm 的回答）

我没有对此进行测试，但想知道随着文件大小增加的“最佳”方法。

@cuonglm 建议使用join，但这会重新排列列以将连接字段放在首位。
我不能join使用参数轻松地为命令编写长输出格式，-o因为这会很长：

join -1 170 -2 1 -o1.1 1.2 1.3 1.4......1.300.... file1 file2

有没有办法join更容易做到这一点？

或者我应该坚持使用gawk, 作为文件大小问题（例如，文件 a 和 b 中的最大行数为 5 百万行，都具有大约 500 列）？

awk join

1 个回答

  1. Best Answer

    我进行了全面的傻瓜测试。我制作了一个 500 万行 x 500 列 (20 GB) 的 CSV，以及一个 500 万行 x 2 列的边文件。关键字段是唯一的（我有 500 万个素数），位于大文件的第 170 列和边文件的第 1 列。这两个文件都包含独立随机顺序的密钥。所有其他字段都包含来自大约 14000 个单词的随机选择（从手册页中摘录）。

    awk 脚本运行了将近 20 分钟，整个过程使用了大约 0.8 GB 的内存。这是在 4 GB 笔记本电脑和 5400 rpm 硬盘上。此日志显示时间和文件大小以及列数。

    Paul--) time ./datMerge

real    18m31.740s
user    10m21.632s
sys 1m48.316s
Paul--) wc -lc *max*
    5061456 20045559105 FileA.max.csv
    5061456    85634275 FileB.max.csv
    5061456 20085640276 FileC.max.csv
   15184368 40216833656 total
Paul--) for f in F*max*; do
> awk '-F,' '{ printf ("%8d %s\n", NF, FILENAME); }' "${f}"
> done | uniq -c
5061456      500 FileA.max.csv
5061456        2 FileB.max.csv
5061456      501 FileC.max.csv
Paul--) ls -l F*max*
-rw-r--r-- 1 paul paul 20045559105 Feb  8 19:49 FileA.max.csv
-rw-r--r-- 1 paul paul    85634275 Feb  8 19:49 FileB.max.csv
-rw-r--r-- 1 paul paul 20085640276 Feb  8 20:24 FileC.max.csv
Paul--)

    我制作了一个迷你版的文件来展示它的作用，六行六列，键在第 4 列。

    Paul--) head F*mini*
==> FileA.mini.csv <==
rather,complies,finite,99999847,AM,Or
elapsed,plied,nearperfect,99999989,pr,WinChip
phiopt,reflects,bottom,99999959,128N,careful
fpackstructn,realworld,msingleexit,99999931,0xffff,maxmimum
simplified,mpopcntb,FrontCover,99999971,523x,requisite
cede,fdumprtlbtl2,atmega649a,99999941,LC_MESSAGES,errno

==> FileB.mini.csv <==
99999847,symbols
99999931,fdumprtldbr
99999959,ambiguous
99999971,crc
99999989,munsafedma

==> FileC.mini.csv <==
rather,complies,finite,99999847,AM,Or,symbols
elapsed,plied,nearperfect,99999989,pr,WinChip,munsafedma
phiopt,reflects,bottom,99999959,128N,careful,ambiguous
fpackstructn,realworld,msingleexit,99999931,0xffff,maxmimum,fdumprtldbr
simplified,mpopcntb,FrontCover,99999971,523x,requisite,crc
cede,fdumprtlbtl2,atmega649a,99999941,LC_MESSAGES,errno,Default
Paul--)

    这是合并脚本。如果可以提供信息，我可以发布数据创建脚本。

    Paul--) cat datMerge
#! /bin/bash
#: datMerge

LC_ALL="C"

function Merge {

    local AWK='''
BEGIN { FS = ","; OFS = ","; K = 170; Null = "Default"; }
NR == FNR { htMap[$1] = $2; next; }
{ printf ("%s%s%s\n", $0, OFS, ($(K) in htMap) ? htMap[$(K)] : Null); }
'''
    awk "${AWK}" "${@}"
}

    Merge "FileB.max.csv" "FileA.max.csv" > "FileC.max.csv"

Paul--)
    • 1

相关问题