Início / user-5660

Alan's questions

Martin Hope
Alan
Asked: 2012-06-01 17:33:17 +0800 CST
  • 3

Eu tenho um banco de dados MySQL 5.5.23 que executa cerca de 3k qps, 5% dos quais são gravações. Ultimamente, tenho tido um grande problema com congelamentos aleatórios de gravação. Tudo está indo muito bem e, de repente, qualquer gravação que chega pára no estado "atualizar" ou "Atualizando". Eles ficam nesse estado por cerca de um ou dois minutos e finalmente terminam. O problema é que com uma quantidade tão grande de conexões, quando elas congelam aleatoriamente assim, a conexão permanece aberta e inevitavelmente recebo muitos erros de conexão.

Está acontecendo em todas as tabelas durante as consultas INSERT e UPDATE.

Alguém viu isso antes? Existe algo que possa ser feito sobre isso?

Estou usando o Amazon RDS com a maior instância que eles oferecem. Terei o maior prazer em fornecer qualquer informação que vocês precisem, apenas deixe-me saber o que é.

ATUALIZAÇÃO: A tabela principal que estou inserindo é:

CREATE TABLE `mytable` (
 `hash` varchar(5) CHARACTER SET latin1 COLLATE latin1_general_cs NOT NULL,
 `name` varchar(256) DEFAULT NULL,
 `ip` varchar(64) CHARACTER SET latin1 COLLATE latin1_general_ci NOT NULL,
 `deletehash` char(15) CHARACTER SET latin1 COLLATE latin1_general_cs NOT NULL,
 `datetime` datetime NOT NULL,
 `api_key` varchar(64) CHARACTER SET latin1 COLLATE latin1_general_cs DEFAULT NULL,
 `account_id` int(10) unsigned DEFAULT NULL,
 `type` varchar(15) CHARACTER SET latin1 COLLATE latin1_general_ci NOT NULL,
 `width` int(10) unsigned NOT NULL DEFAULT '0',
 `height` int(10) unsigned NOT NULL DEFAULT '0',
 `size` int(10) unsigned NOT NULL DEFAULT '0',
 `animated` tinyint(1) NOT NULL DEFAULT '0',
 `views` int(10) unsigned NOT NULL DEFAULT '0',
 `lastviewed` datetime NOT NULL,
 PRIMARY KEY (`hash`),
 UNIQUE KEY `deletehash` (`deletehash`),
 KEY `datetime` (`datetime`),
 KEY `account_id` (`account_id`),
 KEY `ip` (`ip`),
 KEY `api_key` (`api_key`),
 KEY `views` (`views`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8

Inserção de amostra:

insert into mytable (hash, name, ip, deletehashe, datetime, api_key, account_id, type, width, height, size, animated, views, lastviewed) values('abcde', 'file name', '127.0.0.1', 'abcdefghijklmn', '2012-05-31 00:00:00', NULL, NULL, 'mime/type', 0, 0, 0, 0, 0, '0000-00-00 00:00:00');

Exemplo de atualização:

update mytable set views = views+1, lastviewed = NOW() where hash = 'abcde';

"Atualizando"

mysql amazon-rds
Martin Hope
Alan
Asked: 2012-01-08 18:07:54 +0800 CST
  • 7

Estou enfrentando um problema em que várias atualizações do MySQL executadas ao mesmo tempo travam e levam vários minutos para serem concluídas. Estou usando o InnoDB, então estou confuso sobre por que isso pode estar acontecendo, já que cada atualização está atualizando apenas 1 linha. Também estou usando uma instância RDS m2.4xlarge (a maior que existe).

Atualização travada

Aqui está o que estou fazendo: tenho uma tabela com cerca de 100 milhões de linhas, com "visualizações" sendo uma coluna (que é indexada) e desejo atualizar as visualizações em cerca de 1 milhão de linhas. Em vários servidores diferentes, tenho um loop como este, onde cada servidor possui seu próprio conjunto de linhas a serem atualizadas (pseudo código):

mysql("set autocommit=0");
mysql("start transaction");

foreach($rows as $row) {
    mysql("update table set views=views+1 where id=$row[id]");
}

mysql("commit");

Isso percorre todas as linhas que precisam ser atualizadas. Funciona perfeitamente quando o número de servidores é pequeno, como cerca de 4, mas quando aumenta para mais de 10, as atualizações começam a travar no estado "Atualizando" de uma só vez. Nada diz que está esperando um bloqueio, é apenas "Atualizando". Isso acontece por cerca de 5 minutos, onde ele finalmente fará as atualizações e continuará no loop e, eventualmente, acontecerá novamente.

Não estou procurando maneiras alternativas de fazer as atualizações. Ter coisas como uma tabela tmp e

update table,tmp_table set table.views = table.views+tmp_table.views where
  table.id = tmp_table.id

bloqueie todas as linhas que estão sendo atualizadas até que todas terminem (o que pode levar horas), o que não funcionará para mim. Eles DEVEM estar nesses loops terríveis.

Estou me perguntando por que eles podem estar travando no estado "Atualizando" e o que posso fazer para evitar isso.

tldr; Ter mais de 10 loops de "atualização" eventualmente bloqueará todas as atualizações sendo feitas, ao mesmo tempo, por um motivo desconhecido até que eles decidam finalmente fazer atualizações e continuar pelos loops, apenas para que isso aconteça novamente segundos depois.

MOSTRAR VARIÁVEIS: http://pastebin.com/NdmAeJrz

MOSTRAR STATUS INNODB DO MOTOR: http://pastebin.com/Ubwu4F1h

mysql innodb