Início / unix / Perguntas / 765176
Accepted
jesse_b
Asked: 2023-12-19 22:04:06 +0800 CST

Converter tabela em json

  • 772

Tenho uma grande tabela de dados que gostaria de converter para json e não tenho certeza se uma ferramenta como jq, mlr ou similar seria capaz de executar tal tarefa sem ter que recorrer às minhas poucas habilidades em awk.

Tabela de amostra:

Balance_sheet for AAPL:

                                                        2023-09-30      2022-09-30      2021-09-30      2020-09-30
Treasury Shares Number                                         0.0             NaN             NaN             NaN
Ordinary Shares Number                               15550061000.0   15943425000.0   16426786000.0   16976763000.0

Saída preferida:

{
    "Balance_sheet for AAPL": {
        "Treasury Shares Number": {
            "2023-09-30": "0.0",
            "2022-09-30": "NaN",
            "2021-09-30": "NaN",
            "2020-09-30": "NaN"
        },
        "Ordinary Shares Number": {
            "2023-09-30": "15550061000.0",
            "2022-09-30": "15943425000.0",
            "2021-09-30": "16426786000.0",
            "2020-09-30": "16976763000.0"
        }
    }
}

O seguinte formato também funcionaria, mas menos desejado:

{
    "Balance_sheet for AAPL": {
        "2023-09-30": {
            "Treasury Shares Number": "0.0",
            "Ordinary Shares Number": "15550061000.0"
        },
        "2022-09-30": {
            "Treasury Shares Number": "NaN",
            "Ordinary Shares Number": "15943425000.0"
        },
        "2021-09-30": {
            "Treasury Shares Number": "NaN",
            "Ordinary Shares Number": "16426786000.0"
        },
        "2020-09-30": {
            "Treasury Shares Number": "NaN",
            "Ordinary Shares Number": "16976763000.0"
        }
    }
}

Alguém conhece um método lógico de fazer isso?

text-processing

3 respostas

  1. Best Answer

    Eu usaria perl:

    $ perl -MJSON::PP -ae '
  if (/^(.*):$/) {$sheet = $1}
  elsif (/^\h+\d/) {$n = (@dates = @F)}
  elsif (/^(.*?)((?:\h+)\H+){$n}$/) {
    $i = -$n;
    $j{$sheet}->{$1} = {map {$_ => $F[$i++]} @dates}
  }
  END {print JSON::PP->new->pretty->encode(\%j)}' your-file
{
   "Balance_sheet for AAPL" : {
      "Ordinary Shares Number" : {
         "2023-09-30" : "15550061000.0",
         "2020-09-30" : "16976763000.0",
         "2022-09-30" : "15943425000.0",
         "2021-09-30" : "16426786000.0"
      },
      "Treasury Shares Number" : {
         "2020-09-30" : "NaN",
         "2023-09-30" : "0.0",
         "2021-09-30" : "NaN",
         "2022-09-30" : "NaN"
      }
   }
}

    Observe que como os objetos JSON são representações de matrizes associativas Perl, a ordem dos membros dentro deles será aleatória. Você pode obter uma ordem consistente definindo o canonicalsinalizador ( JSON::PP->new->pretty->canonical->encode(\%j)) onde cada objeto terá membros classificados por chave.

    Se for importante que a ordem dos campos nos objetos JSON reflita a ordem na tabela, conforme mencionado em perldoc JSON::PP, você poderá vincular essas matrizes a diferentes tipos de hashes que preservam a ordem usando coisas como

    $ perl -MData::Dumper -MTie::Hash::Indexed -MJSON::PP -ae '
  BEGIN{tie %j, $m = "Tie::Hash::Indexed"}
  if (/^(.*):$/) {tie my %s, $m; $j{$sheet = $1} = \%s}
  elsif (/^\h+\d/) {$n = (@dates = @F)}
  elsif (/^(.*?)((?:\h+)\H+){$n}$/) {
    tie my %s, $m;
    $i = -$n;
    %s = map {$_ => $F[$i++]} @dates;
    $j{$sheet}->{$1} = \%s
  }
  END {print JSON::PP->new->pretty->encode(\%j)}' your-file
{
   "Balance_sheet for AAPL" : {
      "Treasury Shares Number" : {
         "2023-09-30" : "0.0",
         "2022-09-30" : "NaN",
         "2021-09-30" : "NaN",
         "2020-09-30" : "NaN"
      },
      "Ordinary Shares Number" : {
         "2023-09-30" : "15550061000.0",
         "2022-09-30" : "15943425000.0",
         "2021-09-30" : "16426786000.0",
         "2020-09-30" : "16976763000.0"
      }
   }
}

    Tie::Hash::Indexed( libtie-hash-indexed-perlpacote Debian) é um dos vários módulos que fornecem hashes ordenados.

    Caso isso seja importante, para um formato mais próximo do formato esperado com recuo de 4 espaços e espaços depois, mas não antes do :s, substitua prettypor indent->indent_length(4)->space_after( indent_length(2)para jqimpressão bonita no estilo -).

    • 5

  2. Usando qualquer awk POSIX:

    $ cat tst.awk
BEGIN {
    inStep = 4
    print "{"
}

sub(/:$/,"") {
    indent = inStep
    printf "%*s\"%s\": {\n", indent, "", $0
    next
}

!numDates && /^[[:space:]]/ {
    numDates = split($0,dates)
    next
}

numDates && match($0,"[[:space:]]+([^[:space:]]+[[:space:]]*){"numDates"}$") {
    indent += inStep
    printf "%s%*s\"%s\": {\n", (numItems++ ? ",\n" : ""), indent, "", substr($0,1,RSTART-1)

    indent += inStep
    $0 = substr($0,RSTART,RLENGTH)
    for ( i=1; i<=numDates; i++ ) {
        printf "%*s\"%s\": \"%s\"%s\n", indent, "", dates[i], $i, (i<numDates ? "," : "")
    }
    indent -= inStep

    printf "%*s}", indent, ""
    indent -= inStep
}

END {
    printf "\n%*s}\n", indent, ""
    print "}"
}


    $ awk -f tst.awk file
{
    "Balance_sheet for AAPL": {
        "Treasury Shares Number": {
            "2023-09-30": "0.0",
            "2022-09-30": "NaN",
            "2021-09-30": "NaN",
            "2020-09-30": "NaN"
        },
        "Ordinary Shares Number": {
            "2023-09-30": "15550061000.0",
            "2022-09-30": "15943425000.0",
            "2021-09-30": "16426786000.0",
            "2020-09-30": "16976763000.0"
        }
    }
}

    Se você precisar lidar com vários blocos de "Balanço Patrimonial", basta adicionar isto:

    if ( numTables++ ) {
    printf "\n%*s},\n", indent, ""
}
numDates = numItems = 0

    imediatamente abaixo da sub()linha, por exemplo, dada esta entrada:

    $ cat file2
Balance_sheet for AAPL:

                                                        2023-09-30      2022-09-30      2021-09-30      2020-09-30
Treasury Shares Number                                         0.0             NaN             NaN             NaN
Ordinary Shares Number                               15550061000.0   15943425000.0   16426786000.0   16976763000.0

Balance_sheet for foo:

                                                        2023-09-30      2022-09-30      2021-09-30      2020-09-30
Treasury Shares Number                                         0.0             NaN             NaN             NaN
Ordinary Shares Number                               15550061000.0   15943425000.0   16426786000.0   16976763000.0

    este roteiro:

    $ cat tst.awk
BEGIN {
    inStep = 4
    print "{"
}

sub(/:$/,"") {
    if ( numTables++ ) {
        printf "\n%*s},\n", indent, ""
    }
    numDates = numItems = 0
    indent = inStep
    printf "%*s\"%s\": {\n", indent, "", $0
    next
}

!numDates && /^[[:space:]]/ {
    numDates = split($0,dates)
    next
}

numDates && match($0,"[[:space:]]+([^[:space:]]+[[:space:]]*){"numDates"}$") {
    indent += inStep
    printf "%s%*s\"%s\": {\n", (numItems++ ? ",\n" : ""), indent, "", substr($0,1,RSTART-1)

    indent += inStep
    $0 = substr($0,RSTART,RLENGTH)
    for ( i=1; i<=numDates; i++ ) {
        printf "%*s\"%s\": \"%s\"%s\n", indent, "", dates[i], $i, (i<numDates ? "," : "")
    }
    indent -= inStep

    printf "%*s}", indent, ""
    indent -= inStep
}

END {
    printf "\n%*s}\n", indent, ""
    print "}"
}

    produzirá esta saída:

    $ awk -f tst.awk file2
{
    "Balance_sheet for AAPL": {
        "Treasury Shares Number": {
            "2023-09-30": "0.0",
            "2022-09-30": "NaN",
            "2021-09-30": "NaN",
            "2020-09-30": "NaN"
        },
        "Ordinary Shares Number": {
            "2023-09-30": "15550061000.0",
            "2022-09-30": "15943425000.0",
            "2021-09-30": "16426786000.0",
            "2020-09-30": "16976763000.0"
        }
    },
    "Balance_sheet for foo": {
        "Treasury Shares Number": {
            "2023-09-30": "0.0",
            "2022-09-30": "NaN",
            "2021-09-30": "NaN",
            "2020-09-30": "NaN"
        },
        "Ordinary Shares Number": {
            "2023-09-30": "15550061000.0",
            "2022-09-30": "15943425000.0",
            "2021-09-30": "16426786000.0",
            "2020-09-30": "16976763000.0"
        }
    }
}
    • 3

  3. Usando Raku (anteriormente conhecido como Perl_6)

    ~$ raku -MJSON::Fast -e '
         my $a = lines[0..1].trim-trailing;         \
         my @a = slurp.map("Date" ~ *).lines.map:   \
             *.subst(:global, / <alpha>+ % " " /, { .trans(" " => "_") } ).split(/ \s+ /);  \
         @a = [Z] @a; my %h; for 1..@a[0].elems-1 -> $j {   \
             %h.append: @a.[0][$j] => %(@a.map( { $_.[0] => $_.[$j] } )[1..*]) };  \ 
         put to-json( $a => %h, :sorted-keys );'   file

    Acima está uma resposta codificada em Raku, um membro da família Perl de linguagens de programação. Dado o arquivo de teste limitado do "Balanço" publicado pelo OP, o 'pré-processamento' da folha é correspondentemente limitado e possivelmente personalizado. As primeiras linhas de codificação usadas para transformar os dados em um formato padrão devem, portanto, ser interpretadas como dando um 'sabor' da linguagem Raku, e não pretendem representar um método para lidar com todos os 'Balanços'.

    1. O JSON::Fastmódulo Raku é carregado na linha de comando.
    2. A primeira instrução lê as duas primeiras linhas em $aescalar, trim-ming fora do espaço em branco final.
    3. A segunda afirmação a ). slurpé o restante do arquivo na memória, b ). acrescenta a "Date"string, c ). divide tudo em lines, d ). cada um lineé mappedado, a fim de: e ). substite letras alfabéticas % " "separadas por espaço de um único caractere (na substituição, metade dos espaços são transtransformados em _sublinhados, o que corrige os rótulos das linhas). Então finalmente f ). os dados são divididos nos \s+espaços em branco restantes e esta tabela é armazenada na @amatriz.
    4. A @atabela é [Z]transformada em "zip" de forma que as linhas se tornem colunas e vice-versa (veja o exemplo abaixo).
    5. Um hash %hé declarado.
    6. O número de colunas de dados "Compartilhamentos" é iterado. a ). Um %()hash anônimo contendo pares de valores-chave é criado, cada par com uma Data (rótulo de linha) como chave para cada valor numérico de coluna de dados correspondente (aqui, o índice [1..*]descarta o emparelhamento de "rótulos"). b ). Adicionando outro nível, o rótulo "Compartilhamentos" apropriado se torna a chave para o valor%() de hash anônimo . As colunas "Compartilhamentos" convertidas em chaves/valores são adicionadas ao hash.append%h
    7. Finalmente (realmente nível c neste ponto), o $acabeçalho "Balance_Sheet" é adicionado de volta como chave ao %hhash como value , e esta tabela hash final (agora multinível) é convertida to-json(), adicionando o :sorted-keysargumento nomeado e saindo put.

    Entrada de amostra:

    Balance_sheet for AAPL:

                                                        2023-09-30      2022-09-30      2021-09-30      2020-09-30
Treasury Shares Number                                         0.0             NaN             NaN             NaN
Ordinary Shares Number                               15550061000.0   15943425000.0   16426786000.0   16976763000.0

    Exemplo de tabela de entrada após [Z]a transformação (menos a linha de cabeçalho "Balance_Sheet"):

    (Date Treasury_Shares_Number Ordinary_Shares_Number)
(2023-09-30 0.0 15550061000.0)
(2022-09-30 NaN 15943425000.0)
(2021-09-30 NaN 16426786000.0)
(2020-09-30 NaN 16976763000.0)

    Resultado Final JSON:

    {
  "Balance_sheet for AAPL:": {
    "Ordinary_Shares_Number": {
      "2020-09-30": "16976763000.0",
      "2021-09-30": "16426786000.0",
      "2022-09-30": "15943425000.0",
      "2023-09-30": "15550061000.0"
    },
    "Treasury_Shares_Number": {
      "2020-09-30": "NaN",
      "2021-09-30": "NaN",
      "2022-09-30": "NaN",
      "2023-09-30": "0.0"
    }
  }
}

    https://raku.land/cpan:TIMOTIMO/JSON::Rápido
    https://docs.raku.org/idioma/hashmap
    https://docs.raku.org/
    https://raku.org

    • 1

relate perguntas