AskOverflow.Dev

AskOverflow.Dev Logo AskOverflow.Dev Logo

AskOverflow.Dev Navigation

  • Início
  • system&network
  • Ubuntu
  • Unix
  • DBA
  • Computer
  • Coding
  • LangChain

Mobile menu

Close
  • Início
  • system&network
    • Recentes
    • Highest score
    • tags
  • Ubuntu
    • Recentes
    • Highest score
    • tags
  • Unix
    • Recentes
    • tags
  • DBA
    • Recentes
    • tags
  • Computer
    • Recentes
    • tags
  • Coding
    • Recentes
    • tags
Início / dba / Perguntas / 338212
Accepted
Furkan YIlmaZ
Furkan YIlmaZ
Asked: 2024-04-01 16:56:25 +0800 CST2024-04-01 16:56:25 +0800 CST 2024-04-01 16:56:25 +0800 CST

Cluster fragmentado – Por que meus dados não são divididos entre nós?

  • 772

Criei um cluster com dois fragmentos. Ou assim pensei. No meu projeto, o primeiro servidor possui mongos_router shard1 (3 nós) e servidores de configuração. O segundo servidor possui apenas 2 nós de fragmento. Depois de configurar os shards, habilitei o sharding para cada banco de dados. E quando olho a saída de sh.status() vejo a saída abaixo:

...
  {
    database: {
      _id: 'wins_emission',
      primary: 'shard1rs',
      partitioned: false,
      version: {
        uuid: UUID('aebf94cf-6069-41ba-9a91-f91a944071b1'),
        timestamp: Timestamp({ t: 1711952615, i: 3000 }),
        lastMod: 1
      }
    },
    collections: {}
  },
  {
    database: {
      _id: 'wins_healthcheck',
      primary: 'shard2rs',
      partitioned: false,
      version: {
        uuid: UUID('663cb5f7-b7b3-4f40-9f52-2c3d1969fb65'),
        timestamp: Timestamp({ t: 1711952305, i: 4 }),
        lastMod: 1
      }
    },
...

Eu entendi isso porque os bancos de dados serão distribuídos entre os fragmentos. E eu esperava que os dados entre os nós não fossem iguais. Por exemplo, a tabela de notificações tem 17,7 mil documentos. E espero que esses documentos sejam compartilhados entre os nós. Como o primeiro nó do shard1 tem 4k, o nó do segundo shard1 tem 4k etc. Cada nó em cada fragmento tem a mesma quantidade de 17,7k. Posso estar sendo mal interpretado.

Tentei fragmentar no nível da coleção para a tabela de notificações. Eu criei uma chave de fragmento com hash. E então executou sh.shardCollection()o comando. E agora meu primeiro shard tem 4,7 mil documentos entre seus próprios nós, enquanto o shard2 tem 12,9 mil em si. Agora, isso me fez pensar nessas questões.

  1. Preciso fragmentar todas as coleções para usar um cluster fragmentado?
  2. Devo fragmentar todas as coleções ou apenas aquelas que contêm grandes dados, como logs.
  3. Por que todos os nós em um fragmento têm a mesma quantidade de documentos? Eles não deveriam distribuir os dados por si só?

Qualquer ajuda é apreciada.

Edição 1: Saída do getShardDistribution de uma coleção específica;

{
  data: '382.25MiB',
  docs: 7006,
  chunks: 3,
  'estimated data per chunk': '127.41MiB',
  'estimated docs per chunk': 2335
}
---
Shard shard2rs at shard2rs/172.16.114.129:27020,172.16.114.129:27021,172.16.114.129:27022
{
  data: '579.78MiB',
  docs: 10578,
  chunks: 1,
  'estimated data per chunk': '579.78MiB',
  'estimated docs per chunk': 10578
}
---
Totals
{
  data: '962.03MiB',
  docs: 17584,
  chunks: 4,
  'Shard shard1rs': [
    '39.73 % data',
    '39.84 % docs in cluster',
    '55KiB avg obj size on shard'
  ],
  'Shard shard2rs': [
    '60.26 % data',
    '60.15 % docs in cluster',
    '56KiB avg obj size on shard'
  ]
}


replication
  • 1 1 respostas
  • 27 Views

1 respostas

  • Voted
  1. Best Answer
    Wernfried Domscheit
    2024-04-02T17:03:12+08:002024-04-02T17:03:12+08:00

    MongoDB distribui dados em pedaços . O tamanho padrão do bloco é 128 MiBytes.

    Assim, o tamanho dos dados coletados deve ser superior a 128 MiBytes, caso contrário não será distribuído.

    Em relação às suas perguntas:

    1. Preciso fragmentar todas as coleções para usar um cluster fragmentado?
    2. Devo fragmentar todas as coleções ou apenas aquelas que contêm grandes dados, como logs.
    • Não, não há necessidade de fragmentar todas as coleções. Normalmente você habilita a fragmentação apenas nas grandes coleções.
    1. Por que todos os nós em um fragmento têm a mesma quantidade de documentos? Eles não deveriam distribuir os dados por si só?

    Na versão anterior do MongoDB, os dados eram fragmentados para obter um número distribuído uniformemente de documentos/pedaços. Na versão mais recente do MongoDB, os dados são fragmentados para obter uma quantidade de dados distribuída uniformemente.

    Veja este exemplo em meu cluster fragmentado:

    {
      data: '238.38GiB',
      docs: 65898591,
      chunks: 28,
      'Shard shard_02': [
        '25.05 % data',
        '26.49 % docs in cluster',
        '3KiB avg obj size on shard'
      ],
      'Shard shard_04': [
        '24.97 % data',
        '26.85 % docs in cluster',
        '3KiB avg obj size on shard'
      ],
      'Shard shard_03': [
        '25 % data',
        '19.84 % docs in cluster',
        '4KiB avg obj size on shard'
      ],
      'Shard shard_01': [
        '24.96 % data',
        '26.81 % docs in cluster',
        '3KiB avg obj size on shard'
      ]
    }
    
    • 0

relate perguntas

  • Como você pode impedir que o escravo MySQL replique as alterações no banco de dados 'mysql'?

  • É imprudente executar a replicação no mesmo servidor físico?

  • Existe uma maneira de medir o atraso de replicação no MySQL com uma resolução inferior a 1 segundo?

  • Práticas recomendadas para executar a replicação atrasada do deslocamento de tempo

  • Qual é a diferença entre a replicação do PostgreSQL 9.0 e o Slony-I?

Sidebar

Stats

  • Perguntas 205573
  • respostas 270741
  • best respostas 135370
  • utilizador 68524
  • Highest score
  • respostas
  • Marko Smith

    conectar ao servidor PostgreSQL: FATAL: nenhuma entrada pg_hba.conf para o host

    • 12 respostas
  • Marko Smith

    Como fazer a saída do sqlplus aparecer em uma linha?

    • 3 respostas
  • Marko Smith

    Selecione qual tem data máxima ou data mais recente

    • 3 respostas
  • Marko Smith

    Como faço para listar todos os esquemas no PostgreSQL?

    • 4 respostas
  • Marko Smith

    Listar todas as colunas de uma tabela especificada

    • 5 respostas
  • Marko Smith

    Como usar o sqlplus para se conectar a um banco de dados Oracle localizado em outro host sem modificar meu próprio tnsnames.ora

    • 4 respostas
  • Marko Smith

    Como você mysqldump tabela (s) específica (s)?

    • 4 respostas
  • Marko Smith

    Listar os privilégios do banco de dados usando o psql

    • 10 respostas
  • Marko Smith

    Como inserir valores em uma tabela de uma consulta de seleção no PostgreSQL?

    • 4 respostas
  • Marko Smith

    Como faço para listar todos os bancos de dados e tabelas usando o psql?

    • 7 respostas
  • Martin Hope
    Jin conectar ao servidor PostgreSQL: FATAL: nenhuma entrada pg_hba.conf para o host 2014-12-02 02:54:58 +0800 CST
  • Martin Hope
    Stéphane Como faço para listar todos os esquemas no PostgreSQL? 2013-04-16 11:19:16 +0800 CST
  • Martin Hope
    Mike Walsh Por que o log de transações continua crescendo ou fica sem espaço? 2012-12-05 18:11:22 +0800 CST
  • Martin Hope
    Stephane Rolland Listar todas as colunas de uma tabela especificada 2012-08-14 04:44:44 +0800 CST
  • Martin Hope
    haxney O MySQL pode realizar consultas razoavelmente em bilhões de linhas? 2012-07-03 11:36:13 +0800 CST
  • Martin Hope
    qazwsx Como posso monitorar o andamento de uma importação de um arquivo .sql grande? 2012-05-03 08:54:41 +0800 CST
  • Martin Hope
    markdorison Como você mysqldump tabela (s) específica (s)? 2011-12-17 12:39:37 +0800 CST
  • Martin Hope
    Jonas Como posso cronometrar consultas SQL usando psql? 2011-06-04 02:22:54 +0800 CST
  • Martin Hope
    Jonas Como inserir valores em uma tabela de uma consulta de seleção no PostgreSQL? 2011-05-28 00:33:05 +0800 CST
  • Martin Hope
    Jonas Como faço para listar todos os bancos de dados e tabelas usando o psql? 2011-02-18 00:45:49 +0800 CST

Hot tag

sql-server mysql postgresql sql-server-2014 sql-server-2016 oracle sql-server-2008 database-design query-performance sql-server-2017

Explore

  • Início
  • Perguntas
    • Recentes
    • Highest score
  • tag
  • help

Footer

AskOverflow.Dev

About Us

  • About Us
  • Contact Us

Legal Stuff

  • Privacy Policy

Language

  • Pt
  • Server
  • Unix

© 2023 AskOverflow.DEV All Rights Reserve