Início / dba / Perguntas / 268997
Accepted
p4guru
Asked: 2020-06-12 17:52:19 +0800 CST

Clickhouse cria estrutura de banco de dados para dados json

  • 772

Novo no clickhouse e preso na estrutura de criação do banco de dados para importar dados json que estão aninhados

Tome por exemplo os dados json que se parecem com o seguinte

quando há dados preenchidos

"FirewallMatchesActions": [
    "allow"
  ],
  "FirewallMatchesRuleIDs": [
    "1234abc"
  ],
  "FirewallMatchesSources": [
    "firewallRules"
  ],

ou

"FirewallMatchesActions": [
    "allow",
    "block"
  ],
  "FirewallMatchesRuleIDs": [
    "1234abc",
    "1235abb"
  ],
  "FirewallMatchesSources": [
    "firewallRules"
  ],

mas talvez haja dados json que não os tenham preenchidos

  "FirewallMatchesActions": [],
  "FirewallMatchesRuleIDs": [],
  "FirewallMatchesSources": [],

como seria a estrutura de banco de dados de criação de clickhouse?

clickhouse

1 respostas

  1. Best Answer

    ClickHouse suporta tipos de colunas como Array como Nested .

    Parece que para o seu caso Array será suficiente:

    CREATE TABLE json_import (
  TimeStamp DateTime DEFAULT now(),

  /* other columns */

  FirewallMatchesActions Array(String),
  FirewallMatchesRuleIDs Array(String),
  FirewallMatchesSources Array(String)
) ENGINE = MergeTree()
ORDER BY (TimeStamp);

/* insert test data */

INSERT INTO json_import (FirewallMatchesActions, FirewallMatchesRuleIDs, FirewallMatchesSources)
VALUES (['allow'], ['1234abc', '1235abb'], ['firewallRules']), 
       (['allow', 'block'], ['1234abc'], ['firewallRules']), 
       ([], [], []);

/* select data */
SELECT *
FROM json_import

/* result
┌───────────TimeStamp─┬─FirewallMatchesActions─┬─FirewallMatchesRuleIDs─┬─FirewallMatchesSources─┐
│ 2020-06-12 06:06:17 │ ['allow']              │ ['1234abc','1235abb']  │ ['firewallRules']      │
│ 2020-06-12 06:06:17 │ ['allow','block']      │ ['1234abc']            │ ['firewallRules']      │
│ 2020-06-12 06:06:17 │ []                     │ []                     │ []                     │
└─────────────────────┴────────────────────────┴────────────────────────┴────────────────────────┘
*/

    Para reduzir o consumo de armazenamento, considere usar o tipo LowCardinality e a codificação de dados .

    Informação adicional:

    Estruturas de dados aninhadas no ClickHouse

    Reduzindo o custo de armazenamento do Clickhouse com o tipo de baixa cardinalidade – lições de um engenheiro do Instana

    Novas codificações para melhorar a eficiência do ClickHouse

    • 1

relate perguntas