Início / dba / Perguntas / 316520
Accepted
Erick Ramirez
Asked: 2022-09-07 05:25:44 +0800 CST

Como faço para migrar dados em tabelas para um novo cluster Cassandra?

  • 772

Como migrar tabelas de aplicativos em um cluster Cassandra existente para um novo cluster?

O novo cluster tem uma topologia e atribuições de token diferentes para o cluster de origem.

cassandra

1 respostas

  1. Best Answer

    Preparação

    No cluster de origem, tire um instantâneo dos keyspaces relevantes usando o nodetool snapshotcomando. Por exemplo:

    $ nodetool snapshot <keyspace_name>

    Aqui está um exemplo onde eu tiro um instantâneo do communitykeyspace.

    ETAPA B1 - Crie um instantâneo:

    $ nodetool snapshot community
Requested creating snapshot(s) for [community] with snapshot name [1591083719993] and options {skipFlush=false}
Snapshot directory: 1591083719993

    O 1591083719993nome do diretório é um carimbo de data/hora Unix para quando o instantâneo foi criado e é equivalente a 2 de junho de 2020 às 7h41 GMT. Há uma tabela chamada usersno meu keyspace de exemplo e o instantâneo está localizado na seguinte estrutura de diretórios:

    data/
  community/
    users-6140f420a4a411ea9212efde68e7dd4b/
      snapshots/
        1591083719993/
          manifest.json
          mc-1-big-CompressionInfo.db
          mc-1-big-Data.db
          mc-1-big-Digest.crc32
          mc-1-big-Filter.db
          mc-1-big-Index.db
          mc-1-big-Statistics.db
          mc-1-big-Summary.db
          mc-1-big-TOC.txt
          schema.cql

    Para obter mais informações, consulte Tirar um instantâneo no Cassandra .

    Ferramentas

    A captura de um instantâneo precisa ser realizada em todos os nós do cluster. É preferível criá-los em paralelo para facilitar a identificação das pastas de instantâneos.

    Para conseguir isso, recomendo usar ferramentas que você já tem em seu ambiente. Se você já estiver usando ferramentas de orquestração como o Ansible, crie os instantâneos em paralelo executando o comando em todos os nós simultaneamente. Da mesma forma, você também pode fazer o script da operação de restauração para executá-la em paralelo usando o Ansible.

    Se você não estiver usando ferramentas de orquestração, considere usar Cluster SSH ( cssh) ou SSH Paralelo ( pssh) para poder executar comandos simultaneamente em todos os nós do cluster.

    Clonar uma mesa

    PREPARAÇÃO - Crie o keyspace do aplicativo e o esquema de tabela no cluster de destino. Se necessário, use o schema.cqlarquivo na pasta de instantâneos como guia.

    Depois que o keyspace e o esquema de tabela forem criados, siga o procedimento abaixo para restaurar as tabelas.

    ETAPA 1 - Copie o instantâneo para um local temporário para que os arquivos SSTable estejam localizados em um diretório com extensão keyspace_name/table_name. Por exemplo:

    $ cp -p \
    data/community/users-6140f420a4a411ea9212efde68e7dd4b/snapshots/1591083719993/* \
    /path/to/community/users/.

    PASSO 2 - Carregue os arquivos de dados para o cluster de destino com o utilitário da seguinte forma:

    $ sstableloader -d dest_node_ip1, dest_node_ip2 /path/to/community/users/

    ETAPA 3 - Repita as etapas 1 e 2 no próximo nó no cluster de origem até que os instantâneos em TODOS os nós tenham sido carregados no cluster de destino.

    Repita as etapas acima em cada tabela que você deseja clonar para o cluster de destino.

    Para obter mais informações, consulte carregador em massa Cassandra . Felicidades!

    Para obter instruções sobre como clonar dados do aplicativo para um cluster "idêntico", consulte Como restaurar instantâneos do Cassandra para outro cluster com configuração idêntica? .

    • 2

relate perguntas