"Fundamentos de Sistemas de Banco de Dados", 3ª ed. por Elmasri e Navathe, página 136 diz:
"Podemos ordenar fisicamente os registros de um arquivo em disco com base nos valores de um de seus campos [...]"
Como essa "ordenação física" poderia ser aplicada, especialmente no que diz respeito à fragmentação? A maioria dos bancos de dados usa chamadas de sistema para armazenar seus dados no sistema de arquivos do sistema operacional, apenas muito poucos são capazes de fazer E/S bruta.
Tenho um banco de dados com tamanho de cerca de 170GB com linhas entre 20.000 - 700.000.000 linhas (dependendo da tabela). Atualmente estou usando o mecanismo de armazenamento MyISAM.
No meu caso, a velocidade de consulta (READ) é muito importante, mas a transacional é opcional.
Minhas estimativas de operação CRUD são:
Eu gerencio um banco de dados onde milhares de GBs de dados de log inúteis são criados diariamente.
Não consigo consertar o software que está executando todo esse registro (desnecessário). Existe uma maneira de bloquear (ou desabilitar gravações) esta tabela de log para que ela nunca seja gravada, mas ao mesmo tempo relatará a gravação como bem-sucedida para que não cause problemas com o software?
Eu sei que posso apenas truncar as tabelas com um cronjob, mas gostaria de saber se existe uma abordagem melhor?
Segui as dicas do @RolandoMySQLDBA neste tópico: mysql, alterando tabelas de myisam para ndb Mas não obtive sucesso na última etapa.
Eu tenho um problema semelhante, aqui está minha tabela original:
CREATE TABLE `df_modules_metadata_values` (
`id` mediumint(9) NOT NULL AUTO_INCREMENT,
`date_added` datetime NOT NULL,
`date_modified` datetime DEFAULT NULL,
`uid` mediumint(9) NOT NULL,
`share_id` mediumint(9) DEFAULT NULL,
`file_id` mediumint(9) NOT NULL,
`field_id` mediumint(9) NOT NULL,
`val` text CHARACTER SET utf8,
PRIMARY KEY (`id`),
KEY `date_added` (`date_added`),
KEY `uid` (`uid`,`file_id`,`field_id`),
KEY `file_id` (`file_id`,`field_id`),
KEY `uid_2` (`uid`,`field_id`),
KEY `val` (`val`(100)),
KEY `field_id` (`field_id`)
) ENGINE=MyISAM DEFAULT CHARSET=utf8 COLLATE=utf8_unicode_ci;
Se eu simplesmente convertê-lo, ele me dará este erro:
mysql> alter table df_modules_metadata_values engine=ndbcluster;
ERROR 1073 (42000): BLOB column 'val' can't be used in key specification with the used table type
Aqui está o que eu tentei:
mysql> show table status where name='df_modules_metadata_values';
+----------------------------+--------+---------+------------+------+----------------+-------------+-----------------+--------------+-----------+----------------+---------------------+---------------------+------------+-----------------+----------+----------------+---------+
| Name | Engine | Version | Row_format | Rows | Avg_row_length | Data_length | Max_data_length | Index_length | Data_free | Auto_increment | Create_time | Update_time | Check_time | Collation | Checksum | Create_options | Comment |
+----------------------------+--------+---------+------------+------+----------------+-------------+-----------------+--------------+-----------+----------------+---------------------+---------------------+------------+-----------------+----------+----------------+---------+
| df_modules_metadata_values | MyISAM | 10 | Dynamic | 0 | 0 | 0 | 281474976710655 | 2048 | 0 | 1 | 2017-09-10 18:00:21 | 2017-09-10 18:00:21 | NULL | utf8_unicode_ci | NULL | | |
+----------------------------+--------+---------+------------+------+----------------+-------------+-----------------+--------------+-----------+----------------+---------------------+---------------------+------------+-----------------+----------+----------------+---------+
1 row in set (0.00 sec)
mysql> alter table df_modules_metadata_values rename df_modules_metadata_values_old;
Query OK, 0 rows affected (0.00 sec)
mysql> create table df_modules_metadata_values select * from df_modules_metadata_values_old where 1=2;
Query OK, 0 rows affected, 1 warning (0.15 sec)
Records: 0 Duplicates: 0 Warnings: 1
mysql> alter table df_modules_metadata_values add column val100 char(100) after val;
Query OK, 0 rows affected, 1 warning (0.39 sec)
Records: 0 Duplicates: 0 Warnings: 1
mysql> alter table df_modules_metadata_values add unique index (val100);
Query OK, 0 rows affected (0.33 sec)
Records: 0 Duplicates: 0 Warnings: 0
mysql> alter table df_modules_metadata_values engine=ndbcluster;
Query OK, 0 rows affected, 1 warning (0.49 sec)
Records: 0 Duplicates: 0 Warnings: 1
mysql> show table status where name='df_modules_metadata_values';
+----------------------------+------------+---------+------------+------+----------------+-------------+-----------------+--------------+-----------+----------------+-------------+-------------+------------+-------------------+----------+----------------+---------+
| Name | Engine | Version | Row_format | Rows | Avg_row_length | Data_length | Max_data_length | Index_length | Data_free | Auto_increment | Create_time | Update_time | Check_time | Collation | Checksum | Create_options | Comment |
+----------------------------+------------+---------+------------+------+----------------+-------------+-----------------+--------------+-----------+----------------+-------------+-------------+------------+-------------------+----------+----------------+---------+
| df_modules_metadata_values | ndbcluster | 10 | Dynamic | 0 | 0 | 0 | 0 | 0 | 0 | NULL | NULL | NULL | NULL | latin1_swedish_ci | NULL | partitioned | |
+----------------------------+------------+---------+------------+------+----------------+-------------+-----------------+--------------+-----------+----------------+-------------+-------------+------------+-------------------+----------+----------------+---------+
1 row in set (0.00 sec)
Agora tenho dificuldade para finalizar sua última etapa, não consigo entender o significado delas, como finalizar a etapa "inserir em"? E por que precisamos fazer isso?
Além disso, durante minhas operações, pude ver alguns avisos, como posso verificá-los?
Obrigado!
Instalei o MongoDB no Ubuntu 14.04, mas não consigo alterar seu mecanismo de armazenamento para WiredTiger.
Eu adicionei as alterações necessárias ao arquivo /etc/mongod.conf, que é o seguinte:
storage:
dbPath: /var/lib/mongodb
journal:
enabled: true
engine: wiredTiger
Eu iniciei o processo mongod usando o seguinte comando:
mongod -f /etc/mongod.conf
O servidor inicializa, mas ainda recebo o aviso quando me conecto ao meu shell-:
2017-01-10T15:36:54.866+0530 I STORAGE [initandlisten] ** WARNING: Using the XFS filesystem is strongly recommended with the WiredTiger storage engine
Estou perdendo alguma coisa aqui? As mudanças parecem não surtir efeito.
Atualmente, estou trabalhando com o MongoDB 3.2.10 e recentemente ouvi falar do novo mecanismo "inMemory". Depois de algumas pesquisas descobri que ele estava disponível na Enterprise Edition desde a versão 3.2.6, mas não consegui encontrar nenhuma informação sobre um eventual lançamento na edição community.
Portanto, a pergunta é: eles planejam lançar o mecanismo inMemory para o Community Edition? Se o fizerem, sabemos quando?
Como posso alterar o mecanismo de armazenamento do MongoDB permanentemente para não precisar executar o mongod sem precisar especificar o mecanismo de armazenamento todas as vezes? Estou usando o shell versão 3.2.7 no Windows 7 de 32 bits. Eu recebi um erro que dizia:
28663 Não é possível iniciar o servidor. O mecanismo de armazenamento padrão 'wiredTiger' não está disponível com esta compilação do mongod. Especifique explicitamente um mecanismo de armazenamento diferente, por exemplo --storageEngine=mmapv1., terminando.
Além disso, alguém sabe como desligar corretamente o servidor quando termino de trabalhar? Eu uso Ctrl+ Cmas dá um erro, então tenho que esvaziar a pasta de dados para que o processo comece novamente.
Então hoje um professor nos disse que quando o banco de dados tem que fazer uma atualização, internamente (em baixo nível) ele faz um delete e depois um insert com os campos atualizados. Ele então disse que isso é algo feito em todos os bancos de dados e então comecei uma discussão dizendo que achava que não fazia sentido, mas não tinha recursos suficientes para sustentar minha posição. Ele parece saber muito, mas não consigo entender por que dbs faria isso.
Quer dizer, eu sei que se você atualizar um campo e precisar de mais espaço para aquela linha, ele pode excluir a linha fisicamente e colocá-la no final com os novos dados. Mas se, por exemplo, você reduzir o espaço usado, por que excluir e inserir novamente no final?
Isso é mesmo verdade? Quais são os benefícios?
No mongoDB3 apareceu um novo mecanismo de armazenamento: WiredTiger . No entanto, o MMAPv1 ainda é a opção padrão no Mongo .
Um pode não ser melhor que o outro, geralmente é uma questão de caso de uso e de escolher a ferramenta certa para o trabalho. Mas qual motor é o certo para qual trabalho?
Na verdade, enquanto o MMAPv1 é o mecanismo padrão, o WiredTiger parece melhor em quase todos os campos. Possui os mesmos recursos do MMAPv1 mais:
Encontrei uma tabela comparativa no blog do MongoDB :
Então, exceto se você estiver no Solaris, há algum motivo para não escolher o WiredTiger?
EDITAR
Aqui estão dois vídeos que explicam em detalhes o funcionamento interno do WiredTiger e do MMAPv1 .
Sei que podemos configurar o mecanismo de armazenamento para ser wiredTiger no nível da instância quando iniciamos o mongod.
Mas também podemos selecionar o mecanismo de armazenamento para ser diferente para diferentes coleções ou bancos de dados?