AskOverflow.Dev

AskOverflow.Dev Logo AskOverflow.Dev Logo

AskOverflow.Dev Navigation

  • Início
  • system&network
  • Ubuntu
  • Unix
  • DBA
  • Computer
  • Coding
  • LangChain

Mobile menu

Close
  • Início
  • system&network
    • Recentes
    • Highest score
    • tags
  • Ubuntu
    • Recentes
    • Highest score
    • tags
  • Unix
    • Recentes
    • tags
  • DBA
    • Recentes
    • tags
  • Computer
    • Recentes
    • tags
  • Coding
    • Recentes
    • tags
Início / user-79015

Brandon's questions

Martin Hope
Brandon
Asked: 2018-02-08 09:44:28 +0800 CST

Postgres: O que poderia causar o erro "não é possível chamar populate_composite em um escalar"?

  • 6

Tenho uma coluna do tipo JSONB, onde cada linha contém um JSON com um array de objetos, ex:

[
    {
        "grade": "4.44/5",
        "endYear": 2011,
        "startYear": 2006,
        "userId": "defg"
    },
    {
        "grade": "9.133/10",
        "endYear": 2010,
        "startYear": 2006,
        "userId": "abcd"
    }
]

Estou tentando expandir essas JSONBcoleções em linhas, como:

| grade    | startYear | endYear | userId |
-------------------------------------------
| 4.44/5   |    2006   | 2011    | defg   |
| 9.133/10 |    2006   | 2010    | abcd   |
-------------------------------------------

..usando a seguinte consulta:

WITH arr AS (SELECT jsonb_array_elements(jsonbrecords) AS jsons
             FROM "table-with-jsonb"),
    lines AS (
      SELECT x.*
      FROM arr, jsonb_to_record(jsons) AS x(
                "field1" VARCHAR
                 )
  ) SELECT *
    FROM lines

Estou usando o Datagrip, que pagina os resultados e a consulta termina bem nas primeiras 500 linhas.

No entanto, quando tento carregar a última página de resultados, recebo este erro:

[22023] ERROR: cannot call populate_composite on a scalar

Pesquisar esse erro no Google quase não mostra resultados úteis (o primeiro para mim), exceto o código-fonte do Postgres .

Eu não falo C, mas como o jsonb_array_elementsCTE avalia bem por conta própria, estou assumindo que o problema é que algumas linhas têm um valor escalar na jsonbrecordscoluna em vez de um JSONB.

Para garantir que eu tivesse apenas JSONBvalores, retirei as linhas que não continham '{'com esta consulta:

UPDATE  "table-with-jsonb" SET jsonbrecords = NULL
WHERE jsonbrecords :: TEXT !~ '{'

Isso excluiu cerca de uma dúzia de linhas, mas o erro permanece.

Também tentei encontrar o problema inspecionando as JSONBlinhas brutas na tabela, mas não encontrei nada.

Estou correto em pensar que o erro significa que uma linha não tem JSONBvalor? Se sim, como posso corrigir? Se não, como posso depurar?

postgresql postgresql-10
  • 2 respostas
  • 14824 Views
Martin Hope
Brandon
Asked: 2015-10-26 10:59:15 +0800 CST

Design ideal para MySQL de clickstream de linha de 90 mm

  • 0

Pergunta

Quais otimizações devo empregar para tornar esse banco de dados gerenciável? Eu li muitos posts sobre como otimizar grandes dbs, mas sou muito novo, então é difícil determinar quais técnicas são adequadas para minha configuração.

Informações do banco de dados

Carreguei cerca de 90 mil linhas de flatfile csvs em um banco de dados mysql (aws RDS, se isso importa). Existem 60 colunas e cada linha é um clique em um site.

Tipos de dados: Todos os tipos de dados são texto devido às limitações do utilitário mysqlimport (especificamente, seu tratamento de valores nulos vs. 0 em campos numéricos, sobre os quais posso estar errado)

Cada coluna cai em uma destas categorias:

  1. Informações da visita: hora, referenciador, etc. Muitas páginas registram milhões de visitas (primeira página, por exemplo), algumas registram apenas algumas.

  2. Informações do usuário: cidade/estado, etc. Os usuários registram de 1 a milhares de visitas, com a distribuição distorcida à direita.

  3. Informações da página: url, sinalizadores de conteúdo, etc.

IO - O banco de dados tem apenas 4 usuários, então não terá muito I/O, principalmente apenas consultas para preencher dataframes em nosso ambiente de análise de dados python.

índices - nenhum além do índice padrão gerado. Os candidatos para indexação são o ID do usuário e o carimbo de data/hora da exibição da página (potencialmente um índice de várias colunas?)

Opções

Aceito quaisquer outras ideias, mas é isso que eu criei com algumas pesquisas. Interessado em saber quais etapas valem a pena e quais não valem.

  1. dimensionar corretamente o tipo de dados de cada campo - isso oferece aumento de desempenho? a maioria dos campos são sinalizadores de texto ou booleanos.

  2. divida a tabela em pelo menos 2 outras, por exemplo, visite informações e informações da página.

  3. Mantenha-o em uma tabela e particione-o. Pelo que li, acho que particionar no campo consultado com mais frequência é a escolha ideal.

mysql optimization
  • 1 respostas
  • 116 Views

Sidebar

Stats

  • Perguntas 205573
  • respostas 270741
  • best respostas 135370
  • utilizador 68524
  • Highest score
  • respostas
  • Marko Smith

    conectar ao servidor PostgreSQL: FATAL: nenhuma entrada pg_hba.conf para o host

    • 12 respostas
  • Marko Smith

    Como fazer a saída do sqlplus aparecer em uma linha?

    • 3 respostas
  • Marko Smith

    Selecione qual tem data máxima ou data mais recente

    • 3 respostas
  • Marko Smith

    Como faço para listar todos os esquemas no PostgreSQL?

    • 4 respostas
  • Marko Smith

    Listar todas as colunas de uma tabela especificada

    • 5 respostas
  • Marko Smith

    Como usar o sqlplus para se conectar a um banco de dados Oracle localizado em outro host sem modificar meu próprio tnsnames.ora

    • 4 respostas
  • Marko Smith

    Como você mysqldump tabela (s) específica (s)?

    • 4 respostas
  • Marko Smith

    Listar os privilégios do banco de dados usando o psql

    • 10 respostas
  • Marko Smith

    Como inserir valores em uma tabela de uma consulta de seleção no PostgreSQL?

    • 4 respostas
  • Marko Smith

    Como faço para listar todos os bancos de dados e tabelas usando o psql?

    • 7 respostas
  • Martin Hope
    Jin conectar ao servidor PostgreSQL: FATAL: nenhuma entrada pg_hba.conf para o host 2014-12-02 02:54:58 +0800 CST
  • Martin Hope
    Stéphane Como faço para listar todos os esquemas no PostgreSQL? 2013-04-16 11:19:16 +0800 CST
  • Martin Hope
    Mike Walsh Por que o log de transações continua crescendo ou fica sem espaço? 2012-12-05 18:11:22 +0800 CST
  • Martin Hope
    Stephane Rolland Listar todas as colunas de uma tabela especificada 2012-08-14 04:44:44 +0800 CST
  • Martin Hope
    haxney O MySQL pode realizar consultas razoavelmente em bilhões de linhas? 2012-07-03 11:36:13 +0800 CST
  • Martin Hope
    qazwsx Como posso monitorar o andamento de uma importação de um arquivo .sql grande? 2012-05-03 08:54:41 +0800 CST
  • Martin Hope
    markdorison Como você mysqldump tabela (s) específica (s)? 2011-12-17 12:39:37 +0800 CST
  • Martin Hope
    Jonas Como posso cronometrar consultas SQL usando psql? 2011-06-04 02:22:54 +0800 CST
  • Martin Hope
    Jonas Como inserir valores em uma tabela de uma consulta de seleção no PostgreSQL? 2011-05-28 00:33:05 +0800 CST
  • Martin Hope
    Jonas Como faço para listar todos os bancos de dados e tabelas usando o psql? 2011-02-18 00:45:49 +0800 CST

Hot tag

sql-server mysql postgresql sql-server-2014 sql-server-2016 oracle sql-server-2008 database-design query-performance sql-server-2017

Explore

  • Início
  • Perguntas
    • Recentes
    • Highest score
  • tag
  • help

Footer

AskOverflow.Dev

About Us

  • About Us
  • Contact Us

Legal Stuff

  • Privacy Policy

Language

  • Pt
  • Server
  • Unix

© 2023 AskOverflow.DEV All Rights Reserve