Início / dba / Perguntas / 332820
Accepted
Googlebot
Asked: 2023-11-06 22:12:56 +0800 CST

INSERINDO milhões de arquivos em uma tabela

  • 772

Eu arquivo milhões de arquivos XML (1-100 MB cada) em uma tabela com a estrutura de

CREATE TABLE Data
(
    ID int(11) unsigned NOT NULL,
    XML longtext COMPRESSED,
    PRIMARY KEY(ID)
) ENGINE=Aria DEFAULT CHARSET=utf8 COLLATE utf8_general_ci ROW_FORMAT=DYNAMIC;

INSERT INTO Data (ID,XML) VALUES ($id,LOAD_FILE('file.xml'));

O processo é lento, cerca de 2 a 5 inserções/segundo. O banco de dados inteiro seria muito grande para uma unidade SDD, e eu crio o banco de dados em um HDD separado, mas movo os arquivos em lotes para uma unidade SDD para tornar a leitura mais rápida. Observe que a velocidade do disco não é a etapa determinante da taxa, pois os dados XML são enormemente reduzidos pela compactação.

Tentei InnoDBobter inserção simultânea, mas o tamanho do InnoDB ibd é três vezes maior que o ARIA/MyISAM, e o InnoDB é muito mais lento no HDD.

Eu tentei ROCKSDB, mas não pode ser criado em um disco separado, pois existe um único diretório para todas as tabelas. Além disso, o gerenciamento de memória do ROCKSDB é péssimo para tais cenários (ou não consegui encontrar a configuração adequada).

Não testei ARCHIVEo desempenho do motor, pois ele precisa IDestar em ordem.

Minha solução atual é INSERT simultaneamente em uma tabela temporária do InnoDB no SSD e depois INSERT INTO SELECTda tabela InnoDB para a tabela ARIA no HDD. O problema é a integridade e o atraso no esvaziamento do InnoDB e no início do processo INSERT simultâneo.

Agradeço qualquer solução possível.

query-performance

2 respostas

  1. É muito trabalhoso colocar todos esses arquivos no banco de dados.

    Pergunta: O que você vai fazer com eles quando estiverem lá?

    Se a resposta for algo como...

    Quando X acontecer, quero extrair o XML para um arquivo e depois..."

    ... então sua solução é simples. Não faça isso!

    Esse seria um caso clássico de incorrer em muita sobrecarga para colocá-los no banco de dados, seguido de mais sobrecarga para retirá-los novamente , apenas para usá-los como os arquivos com os quais começaram.

    Se você decidir que precisa mantê-los no banco de dados, então...
    Essa é uma estrutura de tabela muito simples e presumo que você só recuperará toda a "placa" de Xml de uma só vez, com base na idcoluna. Se você for fazer qualquer outra coisa , deve estar pensando que pode precisar extrair os dados que deseja filtrar em colunas simples. Sim, existem índices sofisticados com reconhecimento de XML atualmente, mas eles nunca terão um desempenho tão bom quanto uma única coluna com um índice.

    • 1
  2. Best Answer

    Algumas notas:

    • O InnoDB COMPRESSEDreduz cerca de 50% do espaço em disco.
    • gzip (e a maioria das outras ferramentas baseadas em arquivos) compactam até cerca de 33%. Portanto, é melhor encolher o cliente em vez do servidor, mesmo que sejam a mesma máquina. Nota: Isso requer armazenamento em LONGBLOB, não LONGTEXT. E exige que os clientes descompactem durante a leitura.
    • Ao mover a compactação para o cliente, a inserção pode usar vários processos (e núcleos de CPU) para acelerar a tarefa. Ainda assim, eu diria que 3 processos talvez sejam o limite prático; o número de núcleos é definitivamente um limite. (Usar muitos processos faz com que eles tropecem uns nos outros, diminuindo assim a eficiência geral.)
    • Conclusão dos itens acima: Para acelerar significativamente o carregamento do banco de dados, tenha vários processos, cada um compactando e inserindo um arquivo XML em uma tabela com ide LONGBLOB.
    • Se os XMLs forem deixados como arquivos, o sistema operacional poderá lidar com a [des]compressão. (E provavelmente a métrica de 33% se aplica.) Enquanto isso, a tabela do banco de dados poderia ter duas colunas: ide filename(ou caminho).
    • Para inserir/buscar um único XML compactado, cada uma das técnicas levará aproximadamente a mesma quantidade de tempo decorrido - [des]compactação e E/S são os principais fatores.
    • 1

relate perguntas