Início / dba / Perguntas / 335090
Accepted
Nico
Asked: 2024-01-23 04:04:28 +0800 CST

select count(*) leva muito tempo no RDS/MySQL durante alto tráfego

  • 772

Configurar:

  • db.t3.xlargeInstância RDS.
  • Mecanismo MySQL 8.0.33.
  • Parâmetro padrão e grupo de opções.
  • Tabela de registros de aproximadamente 900 mil.
  • O RDS não tem nenhum registro ativado e não podemos reiniciar a instância por enquanto para habilitá-lo.

O banco de dados está conectado a uma aplicação Laravel que roda em Lambda. Um dos processos do lambda requer a contagem do número de linhas da spintabela.

Durante a primeira iteração, descobrimos que a select count()escrita da seguinte maneira levava alguns segundos de vez em quando. Algumas solicitações foram imediatas e outras podem levar mais de 20 segundos.

select count(*) from spin;

Pesquisando na Internet encontramos algumas respostas de pessoas reclamando sobre isso . Decidimos adicionar uma condição à consulta, e isso a tornou uma consulta em menos de um segundo:

select count(*) from spin where id > 0;

Até alguns dias atrás, quando nosso serviço começou a receber mais tráfego do que o normal e o tempo de execução das consultas ficou muito instável.

+--------+-------+------------------+---------+---------+------+-----------+----------------------------------------------------------+
| ID     | USER  | HOST             | DB      | COMMAND | TIME | STATE     | INFO                                                     |
+--------+-------+------------------+---------+---------+------+-----------+----------------------------------------------------------+
| 114168 | vmx   | 10.0.2.175:43169 | fdata   | Execute |   60 | executing | select count(*) as aggregate from `spin` where `id` > 0  |
| 114171 | vmx   | 10.0.3.149:31136 | fdata   | Execute |   58 | executing | select count(*) as aggregate from `spin` where `id` > 0  |
| 114118 | vmx   | 10.0.2.175:36571 | fdata   | Execute |  109 | executing | select count(*) as aggregate from `spin` where `id` > 0  |
+--------+-------+------------------+---------+---------+------+-----------+----------------------------------------------------------+

Suspeito que isso seja devido a algum bloqueio de acesso à spinmesa. Durante o bloqueio da mesa, o select count()trava.

Qualquer contribuição é apreciada, obrigado.

mysql

3 respostas

  1. Best Answer

    Qualquer contribuição é apreciada

    Por que consultar ao vivo a contagem de toda a tabela em uma tabela de quase um milhão de linhas? Parece um pouco arbitrário - quem vai notar ou se importar com o fato de a contagem exata ser 957.432 neste segundo e, alguns minutos depois, ser agora 957.433?

    Eu recomendaria no mínimo armazenar em cache essa contagem e depois ler no cache para ocorrências repetidas.

    • 1

  2. Não tenho certeza de como você está utilizando essas contagens em seu aplicativo, mas você pode consultar INFORMATION_SCHEMApara obter contagens aproximadas, elas são atualizadas com as estatísticas da tabela e devem estar próximas das contagens reais de linhas.

    SELECT TABLE_ROWS 
FROM INFORMATION_SCHEMA.TABLES 
WHERE TABLE_NAME = 'spin'
AND TABLE_SCHEMA = 'schema_name'
    • 0

  3. A razão é que outras conexões às vezes tocam essa tabela de uma forma que entra em conflito com COUNT. Ou pelo menos atrapalha.

    Concordo com JD que encontrar a contagem provavelmente é desnecessário. E concordo com o SD que você pode obter uma estimativa; no entanto, a estimativa pode estar drasticamente distante.

    Explique seu uso para a contagem; talvez possamos adaptar algum truque para ajudá-lo.

    Um truque é ter um secundário INDEX(foo)onde fooestá uma das menores colunas da tabela. O `COUNT(*) usará esse BTree para fazer a contagem. Isso pode funcionar mais rápido e atingir o redutor de velocidade com menos frequência.

    • 0

relate perguntas