Codemonkey's questions

Executando 10.8.8-MariaDB-log

Tenho uma consulta muito complexa para um site de comparação.

Essencialmente

SELECT <columns> FROM <tables>
                 JOIN <derived table 1 for first comparison>
                 JOIN <derived table 2 for first comparison>
                 JOIN <derived table 1 for second comparison>
                 JOIN <derived table 2 for second comparison>

Funciona em <0,1s

Se eu mudar para

SELECT <columns> FROM <tables>
                 JOIN <derived table 1 for first comparison>
                 JOIN <derived table 2 for first comparison>
                 JOIN <derived table 1 for second comparison>
                 JOIN <derived table 2 for second comparison>
                 JOIN <derived table 1 for third comparison>
                 JOIN <derived table 2 for third comparison>

Demora mais de 10 segundos

Os índices são sólidos e o sql para criar as tabelas derivadas é o mesmo para cada comparação, exceto um valor de parâmetro de ID. Tudo o que muda é o número deles.

Eu suspeito que há algum buffer/cache que precisa ser aumentado um pouco? 🤷‍♂️

Sim , eu poderia reescrever a página/sql inteiramente para fazer isso por meio de um mecanismo muito diferente, mas se eu puder consertar isso com uma simples alteração de configuração, dados os recursos disponíveis na máquina, prefiro fazer isso. O tempo é curto.

Compreendo que isso possa ser um problema x/y, mas espero que haja um fruto fácil de alcançar que os mais experientes aqui sejam capazes de identificar imediatamente.

FWIW - filmando no escuro - tentei quadruplicar o tamanho desses três e não fez diferença:

join_buffer_size      = 32M (to 128M)
sort_buffer_size      = 4M  (to 16M)
read_rnd_buffer_size  = 4M  (to 16M)

Obrigado

Suponha estes dados:

id      firstname     surname     val1      val2      val3
1       joe           blogs       1         (null)    (null)
2       jane          doe         (null)    2         5
3       bobby         tables      (null)    (null)    (null)

Eu gostaria de uma consulta que retornasse:

id     count_non_null_vals
1      1
2      2
3      0

COUNTe SUMobviamente não funciona (se funcionarem, eduque-me!), e embora tenhamos GREATESTe LEASTcomo semelhanças em linha para MAX/ MIN, não consigo encontrar algo análogo a COUNT.

Eu posso fazer um gigante horrível de IFs aninhados etc, mas no meu exemplo de legado do mundo real há 30 dessas colunas, então eu prefiro poder fazer COL_COUNT(val1, val2, val3...etc

Obrigada!

Não estou claro para que serve esse usuário, mas o mysqltuner sugere que eu crie uma senha para ele. Não estou claro se isso é realmente uma boa prática, ou se isso é uma limitação do mysqltuner simplesmente porque viu um usuário com o qual não está familiarizado, que nenhuma exceção foi codificada?

Executando o MariaDB 10.5.8

Obrigado

Eu tenho um servidor dedicado do qual administro meu site. Tem 32GB de RAM, Xeon E5-1650 3.2Ghz (6 núcleos, 12 com HT) e duas unidades de 3TB em RAID 1.

Estou executando o Percona 5.7.18

99% das minhas tabelas são InnoDB

Meu arquivo ibdata1 tem 500 MB.

São principalmente consultas SELECT, mas algumas junções/consultas bastante complexas. Com uma proporção de INSERT/UPDATE também.

O servidor gasta parte do seu tempo redimensionando JPEGs que os usuários enviaram, então preciso estar atento a isso ao alocar memória etc.

Há mais alguma coisa que eu possa lhe dizer que ajudaria?

Eu planejo implementar algum cache decente em nível de webapp em algum momento, mas gostaria de melhorar a configuração do mysql nesse meio tempo.

O site funciona muito bem em dias normais de tráfego, mas pode sofrer um pouco em dias movimentados (como hoje ...)

Eu sou um desenvolvedor único, então full-stack e espalhado, e admitirei alegremente que minhas habilidades de DBA são bastante pobres. Eu posso escrever uma consulta decente, mas não sei nada sobre a configuração do servidor. O que está no meu my.cnf foi remendado de várias fontes diferentes ao longo dos anos, e acho que está longe de ser o ideal!

[client]
default-character-set           = utf8mb4


[mysql]
default-character-set           = utf8mb4


[mysqld]
user                            = mysql
default-storage-engine          = InnoDB
socket                          = /var/lib/mysql/mysql.sock
pid-file                        = /var/run/mysqld/mysqld.pid

datadir                         = /var/lib/mysql

skip-name-resolve

max-allowed-packet              = 16M
max-connect-errors              = 1000000

# is this a silly thing to do..?
tmpdir                          = /dev/shm

# Disabling symbolic-links is recommended to prevent assorted security risks
symbolic-links                  = 0

character-set-client-handshake  = FALSE
character_set_server            = utf8mb4
collation_server                = utf8mb4_unicode_ci

ft_min_word_len                 = 2
group_concat_max_len            = 4096


max_connections                 = 500

tmp-table-size                 = 32M
max-heap-table-size            = 32M
thread-cache-size              = 50
open-files-limit               = 65535
table-definition-cache         = 1024
table-open-cache               = 2048

join_buffer_size                = 2M
sort_buffer_size                = 2M
read_rnd_buffer_size            = 2M

slow-query-log                  = 1
long-query-time                 = 1
slow-query-log-file             = /var/lib/mysql/slow_log

log-error                       = /var/lib/mysql/mysite.err

max_allowed_packet              = 256M

query_cache_size                = 268435456
query_cache_limit               = 1048576
query_cache_type                = 1

innodb_buffer_pool_size         = 12G
innodb_buffer_pool_instances    = 12
innodb_read_io_threads          = 12
innodb_write_io_threads         = 12
thread_pool_size                = 24

sql_mode                        = ""




[mysqld_safe]
log-error=/var/lib/mysql/mysite.err
pid-file=/var/run/mysqld/mysqld.pid

Qualquer ajuda / orientação seria muito apreciada, adoro aprender e, mais importante, preciso aprender!

Obrigada!