主页 / ubuntu / 问题 / 1086543
Accepted
user2413
Asked: 2018-10-24 14:37:03 +0800 CST

awk：无法打开“文件名”进行输出（打开的文件太多）

  • 772

所以这是罪魁祸首：

zcat Merged.csv.gz | awk -F, 'FNR == 1  {header = $0; next} !seen[$7]++ {print header | "gzip > data/S20180528_"$7".txt.gz"} {print | "gzip > data/S20180528_"$7".txt.gz";}'

当我在这个大文件（Merged.csv.gz）上运行它时，我得到：

awk: cannot open "gzip > data/S20180528_2505329.txt.gz" for output (Too many open files)

我通过粘贴在此处和 stackoverflow 上找到的部分来创建原始命令。谷歌搜索，我想我可能弄乱了一些报价。现在，我不知道是哪一个。

awk

1 个回答

  1. Best Answer

    这意味着您必须关闭打开的文件句柄。

    它可能更清洁

    zcat Merged.csv.gz | 
    awk -F, '
        FNR == 1  {header = $0; next} 
        !seen[$7]++ {
            file[$7] = "data/S20180528_"$7".txt"
            print header > file[$7]
            close(file[$7])
        }
        {print >> file[$7]; close(file[$7])}
        END {
            for (f in file) system("gzip " file[f])
        }
    '

    由于文件按第 7 列排序：

    zcat Merged.csv.gz | awk -F, '
    FNR == 1  {header = $0; next} 
    $7 != key {
        if (file) {
            close(file)
            system("gzip " file)
        }
        file = "data/S20180528_" $7 ".txt"
        key = $7
        print header > file
    }
    {print > file}
    END { close(file); system("gzip " file) }
'
    • 1

相关问题