Estou usando o GridDB em uma configuração de cluster baseada em Docker para gerenciar dados de séries temporais em larga escala. O caso de uso envolve ingerir milhões de registros por dia, ao mesmo tempo em que garante desempenho de consulta eficiente para análises em tempo real.
Eu puxei a imagem GridDB https://hub.docker.com/r/griddb/griddb do Docker Hub e configurei um cluster com 3 nós. No entanto, estou encontrando os seguintes desafios:
- Alta latência de gravação: a latência de gravação aumenta significativamente durante os períodos de pico de ingestão.
- Desempenho da consulta: consultas complexas com múltiplas condições (por exemplo, intervalos de tempo, agregações) são mais lentas do que o esperado.
- Uso de memória: o uso de memória aumenta irregularmente entre os nós, às vezes causando falhas nos nós.
Configuração atual:
• Configuração do cluster: • 3 nós em execução em contêineres Docker. • Usando configurações padrão de gs_cluster.json e gs_node.json. • Modelo de dados: • Dados de séries temporais armazenados em contêineres com chaves de linha como carimbos de data/hora. • Colunas indexadas para parâmetros de consulta comuns. • Taxa de ingestão: ~50.000 registros/segundo usando o GridDB Java SDK.
Passos dados até agora:
- StoreMemoryLimit e notificationInterval ajustados em gs_node.json para gerenciar memória e desempenho de gravação.
- Dados particionados em vários contêineres para reduzir a contenção durante gravações.
- Experimentou diferentes tamanhos de lote para ingestão para encontrar uma configuração ideal.
Questões:
Otimização de gravação: Quais são as melhores práticas para melhorar a ingestão de dados de séries temporais no GridDB? Devo ajustar parâmetros específicos como dataAffinity ou checkpointInterval para melhor desempenho?
Gerenciamento de memória: como posso otimizar o uso de memória no cluster para evitar picos e possíveis falhas de nós?
Desempenho da consulta: Existem técnicas avançadas de indexação ou particionamento que podem melhorar o desempenho da consulta para consultas de intervalo de tempo e agregadas?
Monitoramento e depuração: há alguma ferramenta ou técnica recomendada para monitorar o desempenho do cluster GridDB e identificar gargalos de forma eficaz?
Referências:
• Documentação do GridDB: https://docs.griddb.net/
Quaisquer sugestões ou orientações sobre como resolver esses problemas seriam muito apreciadas.