AskOverflow.Dev

AskOverflow.Dev Logo AskOverflow.Dev Logo

AskOverflow.Dev Navigation

  • Início
  • system&network
  • Ubuntu
  • Unix
  • DBA
  • Computer
  • Coding
  • LangChain

Mobile menu

Close
  • Início
  • system&network
    • Recentes
    • Highest score
    • tags
  • Ubuntu
    • Recentes
    • Highest score
    • tags
  • Unix
    • Recentes
    • tags
  • DBA
    • Recentes
    • tags
  • Computer
    • Recentes
    • tags
  • Coding
    • Recentes
    • tags
Início / dba / Perguntas / 337686
Accepted
David McNeill
David McNeill
Asked: 2024-03-13 11:58:58 +0800 CST2024-03-13 11:58:58 +0800 CST 2024-03-13 11:58:58 +0800 CST

Como faço para converter um varchar de json aninhado em jsonb e depois nivelá-lo?

  • 772

O Apache Hop não possui processamento json rico, então estou enviando os dados para o postgres para fazer o trabalho

Com um blob de json profundamente aninhado (exemplo de subconjunto abaixo), como posso nivelar e armazenar o resultado? Vou recuperá-lo com Hop e continuar o processamento. A saída final é csv.

Algo como

atualizar um conjunto de tabelas flat_json = flatten(nested_json) onde id = 1;

Esse recorte de jq faz isso, qual é o equivalente em pg?

echo '[{"value": {
"id":"1",
"desc":"widget",
"colours":[{
     "hue":"red",
     "tint":"light"
     },{
     "hue":"green",
     "tint":"light"
     },{
     "hue":"blue",
     "tint":"dark"
     }],
"isActive":true
}}]' | jq '[.[] |
[leaf_paths as $path | {"key": $path | join("_"), "value": getpath($path)}]
| from_entries]
'

result
[
{
"value_id": "1",
"value_desc": "widget",
"value_colours_0_hue": "red",
"value_colours_0_tint": "light",
"value_colours_1_hue": "green",
"value_colours_1_tint": "light",
"value_colours_2_hue": "blue",
"value_colours_2_tint": "dark",
"value_isActive": true
}
]

Se esta é uma ideia deselegante, existe uma maneira concisa de enviar o json para colunas criadas automaticamente? (existem cerca de 200) Ou enviar o json aninhado para uma coleção de tabelas (widgets, cores, mais) vinculadas por chaves estrangeiras geradas automaticamente? Os dados reais possuem um aninhamento mais profundo do que o exemplo mostrado.

postgresql
  • 1 1 respostas
  • 42 Views

1 respostas

  • Voted
  1. Best Answer
    Branko Radovanovic
    2024-03-18T03:54:23+08:002024-03-18T03:54:23+08:00

    Quanto ao equivalente do PG, é este SQL:

    with recursive json_tree as
    (
        select 
            '[{"value": {
            "id":"1",
            "desc":"widget",
            "colours":[{
                 "hue":"red",
                 "tint":"light"
                 },{
                 "hue":"green",
                 "tint":"light"
                 },{
                 "hue":"blue",
                 "tint":"dark"
                 }],
            "isActive":true
            }}]'::json as json_value, 
            array[]::text[] as json_path
        union all
        select 
            coalesce(t_obj.value, t_array.value) as json_value, 
            t.json_path || coalesce(t_obj.key, (t_array.key - 1)::text) as json_path
        from json_tree t
        left join json_each(case when json_typeof(t.json_value) = 'object' then t.json_value end) t_obj on true
        left join json_array_elements(case when json_typeof(t.json_value) = 'array' then t.json_value end) with ordinality t_array(value, key) on true
        where json_typeof(t.json_value) in ('array', 'object')  
    )
    select array_to_string(json_path[2:], '_') as json_path_key, json_value #>> '{}' as json_value
    from json_tree
    where json_typeof(json_value) not in ('array', 'object')
    

    O SQL acima deve funcionar para um JSON arbitrário e, neste caso, retorna o seguinte:

    |json_path_key       |json_value|
    |--------------------|----------|
    |value_id            |1         |
    |value_desc          |widget    |
    |value_isActive      |true      |
    |value_colours_0_hue |red       |
    |value_colours_0_tint|light     |
    |value_colours_1_hue |green     |
    |value_colours_1_tint|light     |
    |value_colours_2_hue |blue      |
    |value_colours_2_tint|dark      |
    

    O SQL recursivo é necessário porque os objetos e matrizes JSON precisam ser descompactados recursivamente. Como a referência recursiva a json_treenão pode aparecer duas vezes na consulta, recorremos a alguns truques nesta etapa, com duas junções à esquerda (das quais apenas uma corresponderá a uma determinada linha) e case ... whenpara garantir json_each()e json_array_elements()não receber tipos de parâmetros incompatíveis , o que resultaria em um erro. (Isso não é muito elegante, estou me perguntando se existe uma maneira melhor de fazer isso.)

    O SQL construirá um caminho JSON como um array e, array_to_string()finalmente, produziremos um nome de quase coluna. (Estou omitindo o primeiro elemento do caminho dividindo a matriz com json_path[2:], porque o elemento de nível superior no exemplo JSON é uma matriz, portanto, estritamente falando, as chaves de caminho corretas seriam 0_value_id, 0_value_desc, etc.)

    Todos os caminhos JSON são produzidos, mas estamos interessados ​​apenas em nós folha e - como sabemos que matrizes e objetos não podem ser nós folha - precisamos excluí-los no final.

    Quanto à segunda pergunta - ou seja, se bem entendi, esta é a melhor maneira de propagar dados JSON arbitrários em um esquema de banco de dados (presumivelmente) correspondente - meu palpite quase certamente não é, embora:

    • informações adicionais seriam necessárias para fornecer uma resposta mais confiável, e
    • uma solução melhor - seja ela qual for - provavelmente dependerá, pelo menos em parte, do SQL acima
    • 1

relate perguntas

  • Posso ativar o PITR depois que o banco de dados foi usado

  • Práticas recomendadas para executar a replicação atrasada do deslocamento de tempo

  • Os procedimentos armazenados impedem a injeção de SQL?

  • Sequências Biológicas do UniProt no PostgreSQL

  • Qual é a diferença entre a replicação do PostgreSQL 9.0 e o Slony-I?

Sidebar

Stats

  • Perguntas 205573
  • respostas 270741
  • best respostas 135370
  • utilizador 68524
  • Highest score
  • respostas
  • Marko Smith

    conectar ao servidor PostgreSQL: FATAL: nenhuma entrada pg_hba.conf para o host

    • 12 respostas
  • Marko Smith

    Como fazer a saída do sqlplus aparecer em uma linha?

    • 3 respostas
  • Marko Smith

    Selecione qual tem data máxima ou data mais recente

    • 3 respostas
  • Marko Smith

    Como faço para listar todos os esquemas no PostgreSQL?

    • 4 respostas
  • Marko Smith

    Listar todas as colunas de uma tabela especificada

    • 5 respostas
  • Marko Smith

    Como usar o sqlplus para se conectar a um banco de dados Oracle localizado em outro host sem modificar meu próprio tnsnames.ora

    • 4 respostas
  • Marko Smith

    Como você mysqldump tabela (s) específica (s)?

    • 4 respostas
  • Marko Smith

    Listar os privilégios do banco de dados usando o psql

    • 10 respostas
  • Marko Smith

    Como inserir valores em uma tabela de uma consulta de seleção no PostgreSQL?

    • 4 respostas
  • Marko Smith

    Como faço para listar todos os bancos de dados e tabelas usando o psql?

    • 7 respostas
  • Martin Hope
    Jin conectar ao servidor PostgreSQL: FATAL: nenhuma entrada pg_hba.conf para o host 2014-12-02 02:54:58 +0800 CST
  • Martin Hope
    Stéphane Como faço para listar todos os esquemas no PostgreSQL? 2013-04-16 11:19:16 +0800 CST
  • Martin Hope
    Mike Walsh Por que o log de transações continua crescendo ou fica sem espaço? 2012-12-05 18:11:22 +0800 CST
  • Martin Hope
    Stephane Rolland Listar todas as colunas de uma tabela especificada 2012-08-14 04:44:44 +0800 CST
  • Martin Hope
    haxney O MySQL pode realizar consultas razoavelmente em bilhões de linhas? 2012-07-03 11:36:13 +0800 CST
  • Martin Hope
    qazwsx Como posso monitorar o andamento de uma importação de um arquivo .sql grande? 2012-05-03 08:54:41 +0800 CST
  • Martin Hope
    markdorison Como você mysqldump tabela (s) específica (s)? 2011-12-17 12:39:37 +0800 CST
  • Martin Hope
    Jonas Como posso cronometrar consultas SQL usando psql? 2011-06-04 02:22:54 +0800 CST
  • Martin Hope
    Jonas Como inserir valores em uma tabela de uma consulta de seleção no PostgreSQL? 2011-05-28 00:33:05 +0800 CST
  • Martin Hope
    Jonas Como faço para listar todos os bancos de dados e tabelas usando o psql? 2011-02-18 00:45:49 +0800 CST

Hot tag

sql-server mysql postgresql sql-server-2014 sql-server-2016 oracle sql-server-2008 database-design query-performance sql-server-2017

Explore

  • Início
  • Perguntas
    • Recentes
    • Highest score
  • tag
  • help

Footer

AskOverflow.Dev

About Us

  • About Us
  • Contact Us

Legal Stuff

  • Privacy Policy

Language

  • Pt
  • Server
  • Unix

© 2023 AskOverflow.DEV All Rights Reserve