Minha equipe executa o Cassandra para um aplicativo interno. Esta é a nossa configuração:
- Estamos executando o Cassandra versão 3.11.13.
- Temos vários keyspaces; cada microsserviço tem o seu próprio.
- Temos uma arquitetura ativa em duas regiões da AWS.
- Cada região possui 4 nós: 2 sementes e 2 membros.
- A topologia é um fator de replicação de 4 em cada datacenter/região, portanto, todos os nós possuem 100% dos dados.
- Nossa consistência de leitura é LOCAL_QUORUM e nossa consistência serial é LOCAL_SERIAL, para manter o status ativo-ativo.
Recentemente, tivemos um incidente em que víamos tempos limite de leitura durante consultas do cliente do aplicativo. Eles pareciam estar correlacionados com apenas um keyspace. Depois de muita solução de problemas, descobrimos que nodetool repairo problema foi resolvido. Não tivemos nenhuma exceção nos arquivos de log que nos levasse a entender que havia inconsistência ou corrupção de dados, portanto, só podemos assumir que foi esse o caso porque foi corrigido por um reparo. Também não houve falhas no hardware EC2 ou no sistema operacional que pudessem indicar problemas de disco. Como resultado, não temos uma causa raiz real e não sabemos como evitar que isso aconteça no futuro.
Um sintoma que notamos foi a seguinte mensagem de log que se repetia continuamente para aquele keyspace específico:
INFO [Native-Transport-Requests-1] 2023-07-04 11:53:15,913 MigrationManager.java:286 - Update Keyspace '[REDACTED]' From KeyspaceMetadata ......
Este sintoma desapareceu após o reparo.
Estamos nos perguntando se alguém tem informações sobre o que pode ter ocorrido e, posteriormente, como evitá-lo.
Pode ser interessante notar que não estávamos realizando reparos com frequência suficiente de acordo com as diretrizes. Fazíamos isso aproximadamente a cada três meses, mas a recomendação é igualar o gc_grace_secondsvalor que você está usando, que atualmente é de 10 dias.
Também pode ser importante saber que suspeitamos que havia um maior grau de carga no momento do incidente devido a um trabalho em lote que estávamos executando periodicamente, mas não vimos sinais de estresse nos nós do Cassandra.