blindsnowmobile's questions

Temos algumas consultas bastante grandes em nosso banco de dados postgresql (13.8) de produção que excedem o padrão 1024 para track_activity_query_size(algumas consultas têm mais de 100k). Aumentei esse valor para 8192, mas ele ainda não captura algumas de nossas consultas.

Estou me perguntando:

1. Quão alto posso definir isso razoavelmente (li que 1 MB é o máximo) sem incorrer em problemas de desempenho?
2. Quais métricas posso monitorar para rastrear se eu definir um valor muito alto?

Eu gostaria de defini-lo para 256k, ou possivelmente mais, mas parece que pode ser excessivo.

Estou tentando inserir uma lista de palavras em uma coluna com o JSONtipo:

create table my_table (
    ...
    synonyms JSON
    ...
)

Minha consulta está assim:

INSERT into my_table (id, synonyms)
SELECT id, GROUP_CONCAT(DISTINCT synonyms) as synonyms from (
  SELECT id, name1,name2, GROUP_CONCAT(DISTINCT name1) as synonyms
  FROM products
  GROUP BY id

  UNION

  SELECT id, name1,name2, GROUP_CONCAT(DISTINCT name2) as synonyms
  FROM products
  GROUP BY id
) t group by id;

Se executado sem o INSERT na linha um, a synonymscoluna retorna uma lista de palavras separadas por vírgula:

id       name1    name2    synonyms
------------------------------------
1        one      a,b      one,a,b
2        two      c        two,c

Eu quero inserir esses sinônimos como um JSON_ARRAY. No entanto, o INSERT falha quando as palavras individuais não são aspas duplas. Se eu adicionar JSON_ARRAY no meu select:

SELECT name1,name2,id, JSON_ARRAY(GROUP_CONCAT(DISTINCT synonyms)) ...

Obtenho o seguinte resultado:

name1    name2    synonyms
----------------------------
one      a,b      ["one,a,b"]
two      c        ["two,c"]

Quando o que eu quero é isso (para que possa ser inserido diretamente na synonymscoluna):

name1    name2    synonyms
----------------------------
one      a,b      ["one","a","b"]
two      c        ["two","c"]

Existe uma maneira de fazer isso com SQL ou é melhor tratado no código do aplicativo?

Eu tenho alguns arquivos CSV bastante grandes que estou carregando no meu banco de dados MySQL 5.7. Os arquivos têm vários gigabytes de tamanho, vários milhões de linhas e larguras de coluna grandes que devem ser usadas em junções (às vezes, com aproximadamente 500 caracteres).

Os dados são todos os caracteres padrão do inglês, e a maioria das colunas pode caber em um único conjunto de caracteres de byte como latin1. No entanto, várias das colunas exigem unicode para coisas como símbolos de marca registrada/registrada/direitos autorais, símbolos de medição (polegadas, pés, raio, etc.) e, portanto, tenho usado utf8mb4em todas as tabelas.

O problema de fazer isso é duplo. Ele expande nossos tamanhos de índice, portanto, em alguns casos, não podemos criar um índice em uma(s) coluna(s) porque a largura se torna maior que 3072. Além disso, parece estar causando um impacto significativo no desempenho, provavelmente porque o tamanho dos dados é 4x.

O que eu gostaria de fazer é usar latin1em todas as colunas da tabela e apenas utf8mb4nas colunas que precisam. Isso leva às minhas perguntas -

Qual é a melhor maneira de identificar com certeza quais colunas estão realmente armazenando caracteres multibyte? Posso detectar isso de alguma forma, dentro do meu CSV antes de carregar (usando python/pandas talvez?), ou de dentro do banco de dados? Os arquivos são armazenados como utf8. Eles estão atualmente carregados em uma utf8mb4tabela. Se eu pudesse escanear facilmente a tabela e dizer "esta coluna não contém dados multibyte", eu poderia alterá-la para latin1.

Segundo, terei problemas se tentar criar índices compostos com colunas usando codificações diferentes? Digamos que a coluna Aseja utf8mb4 e a coluna Bseja latin1. Há algo de errado em criar um índice nessas duas colunas? ou seja: CREATE INDEX my_index ON my_table(A, B);. Estou assumindo que não há problema em fazer isso.