Existe alguma versão do DSE 6.x que suporte o formato C* 4.x sstable (-nb-)? Quero carregar dados do apache C* 4.x usando sstableloader no DSE 6.x. Qual seria o melhor caminho de atualização recomendado (compatível) para importar sstables C* 4.x no DSE 6.x?
- DSE 6.x - protocolo DSE_V2 - (formato sstable
-bb-
) - C* 4.x - protocolo v5 - (formato sstable
-nb-
)
Usando Apache Cassandra 4.x sstableloader -> O cliente não consegue negociar um protocolo mesmo após adicionar application.conf
( v4
) EXTRA_CLASSPATH
conforme doc . O erro permanece o mesmo independentemente de qualquer driver compatível fornecido:
com.datastax.driver.core.exceptions.UnsupportedProtocolVersionException: \
[/10.x.x.x:9042] Host does not support protocol version V6 but V5.
Usando DSE 6.8.x sstableloader -> Importação de -nb-
sstables de 4.x concluída sem erros, mas não há arquivos no caminho /data do cluster DSE e SELECT * from TABLE
retorna 0 linhas. Usar nodetool refresh
and nodetool import
não parece ajudar.
Não há informações claras sobre a compatibilidade do C* 4.x com o DSE na documentação do Datastax. Quaisquer links ou informações sobre isso seriam úteis. Obrigado!
O mecanismo de armazenamento no DataStax Enterprise (DSE) 6.8/6.9 é baseado em:
Portanto, embora o DSE tenha recursos avançados que estão disponíveis apenas em versões mais recentes do Apache Cassandra, o DSE só tem suporte para trabalhar com
m*
formatos SSTable do C* 3.x, conforme documentado na Matriz de compatibilidade de produtos do DataStax , e não com os formatos mais recentesn*
do C* 4.x.Os formatos C* 3.x
m*
SSTable que são suportados para trabalhar com o DSE 6 são:ma
a partir de 3.0.0mb
de 3.0.7, 3.7mc
de 3.0.8, 3.9md
de 3.0.18, 3.11.4me
de C* 3.0.25, 3.11.11Esses formatos C* SSTable são mais recentes que a versão C* subjacente no DSE 6, portanto, não são suportados:
na
de 4.0-rc1nb
a partir de 4.0.0oa
a partir de 5.0.0Se você tentar carregar SSTables cujos formatos não são suportados, o mecanismo de armazenamento no DSE não reconhecerá esses formatos e os ignorará.
Como nota lateral, o DataStax Hyper-Converged Database (HCD) é uma distribuição nativa da nuvem do Cassandra (o que significa que está pronto para o Kubernetes) que é baseado no Apache Cassandra 4.x, mas tem recursos de pesquisa de vetores para aplicativos Gen AI e API de dados incluída que fornece aos desenvolvedores acesso à API para executar operações CRUD. O HCD pode ser uma opção para você se você realmente precisa trabalhar com C* 4.x SSTables, mas observe que o HCD é um produto completamente diferente do DSE.
Para divulgação completa, já que mencionei a empresa várias vezes, sou um committer do Apache Cassandra e trabalho na DataStax. Abraços!