Início / ubuntu / Perguntas / 1086543
Accepted
user2413
Asked: 2018-10-24 14:37:03 +0800 CST

awk: não é possível abrir "filename" para saída (muitos arquivos abertos)

  • 772

Então aqui está o culpado:

zcat Merged.csv.gz | awk -F, 'FNR == 1  {header = $0; next} !seen[$7]++ {print header | "gzip > data/S20180528_"$7".txt.gz"} {print | "gzip > data/S20180528_"$7".txt.gz";}'

Quando o executo neste arquivo grande (Merged.csv.gz), recebo:

awk: cannot open "gzip > data/S20180528_2505329.txt.gz" for output (Too many open files)

Criei o comando original colando partes que encontrei aqui e no stackoverflow. Pesquisando no Google, acho que posso ter confundido algumas das citações ao fazê-lo. Agora, não consigo descobrir quais.

awk

1 respostas

  1. Best Answer

    Isso significa que você deve fechar os identificadores de arquivos abertos.

    Pode ser mais limpo para

    zcat Merged.csv.gz | 
    awk -F, '
        FNR == 1  {header = $0; next} 
        !seen[$7]++ {
            file[$7] = "data/S20180528_"$7".txt"
            print header > file[$7]
            close(file[$7])
        }
        {print >> file[$7]; close(file[$7])}
        END {
            for (f in file) system("gzip " file[f])
        }
    '

    Como o arquivo está classificado na coluna 7:

    zcat Merged.csv.gz | awk -F, '
    FNR == 1  {header = $0; next} 
    $7 != key {
        if (file) {
            close(file)
            system("gzip " file)
        }
        file = "data/S20180528_" $7 ".txt"
        key = $7
        print header > file
    }
    {print > file}
    END { close(file); system("gzip " file) }
'
    • 1

relate perguntas