Início / dba / Perguntas / 343093
Accepted
hz lin
Asked: 2024-10-19 23:18:00 +0800 CST

É possível compactar ou particionar uma tabela enorme existente no local para o mariadb?

  • 772

Tenho um banco de dados mariadb configurado para registrar dados de experimentos. Em uma das tabelas, armazeno imagens brutas enormes em cada linha. Com alguns milhões de linhas, cada uma contendo 3 imagens de 512*512px, fico sem espaço em disco. Tenho 12 TB de disco e o banco de dados consumiu ~10 TB. A diferença entre as imagens é pequena, então acredito que há muito espaço para compactação. Quero considerar a compactação do banco de dados, mas com espaço livre limitado, quero um método para compactá-lo no lugar. Uso o mariadb 10.3.39 no Ubuntu 20.04. Não sou especialista em banco de dados, mas ficarei feliz em aprender mais. Eu tentei:

ALTER TABLE images ROW_FORMAT=COMPRESSED KEY_BLOCK_SIZE=8 ALGORITHM=INPLACE;

e eu obtive:

ERROR 1064 (42000): You have an error in your SQL syntax; check the manual that corresponds to your MariaDB server version for the right syntax to use near 'ALGORITHM=INPLACE' at line 1

Também considerei que talvez eu possa particionar minha tabela em pedaços e compactar cada partição individualmente. No entanto, também não tenho certeza se particionar uma tabela existente requer mais espaço. Gostaria de obter alguma recomendação antes de tentar às cegas.

mariadb

2 respostas

  1. Best Answer

    Resposta curta: Não

    Resposta longa:

    • Que tipo de imagens são? A maioria dos formatos (.jpg, etc) já são compactados, então a compactação não tem benefício algum.
    • O COMPRESSED do InnoDB fornece apenas uma compressão de 2:1, mesmo nas melhores situações (números e strings, não imagens). OTOH, a compressão é automática, então não há necessidade de comprimir algumas partes e não outras.
    • Qual é a maior tabela? Quão grande ela é? Muitos tipos de alterações em uma tabela exigem a cópia da tabela. Ou seja, durante a operação, você precisa de espaço para uma cópia da tabela. Especificamente, INPLACEnão vai funcionar.
    • O MariaDB não tem uma maneira de calcular a diferença entre duas imagens. É disso que você precisa. Mesmo se você encontrar algo assim, há muita programação para implementá-lo.
    • Inicialmente, PARTITIONseus 10 GB seriam necessários 10 GB extras (que você não tem).
    • Muito poucas operações podem ser executadas em um único PARTITION; isso elimina seu benefício hipotético de particionamento.

    Aqui vai uma ideia...

    1. Experimente com BLOBs de amostra (512 MB cada?). Faça isso no seu aplicativo, não no MariaDB.
    2. Se você notar uma redução significativa, prossiga.
    3. Percorra a tabela por meio de seu PRIMARY KEY. Leia o(s) blob(s), compacte-os e armazene-os de volta na tabela. Isso levará muito tempo e, aparentemente, não economizará espaço em disco. (Mais sobre isso depois.)
    4. Enquanto isso, altere o código do aplicativo de duas maneiras: (1) monitore o andamento da compactação, para que ele saiba se deve descompactar durante a leitura. (2) Ou observe os primeiros bytes para ver se o blob está compactado (e descompacte, se necessário).
    5. Quando terminar, a tabela ainda terá 10 GB, mas terá muitos buracos. A maioria deles deve ser reutilizada no futuro INSERTs. Advertência: A coluna BLOB provavelmente está armazenada "off-record"; não sei se os blocos liberados podem ser reutilizados. Então, recomendo executar alguns testes.
    6. Eventualmente, os buracos serão usados, e as novas fileiras farão a mesa crescer.

    Ou...

    Se você consegue conviver com linhas "antigas" sendo excluídas, veja aqui como fazer isso com o mínimo de impacto: https://mysql.rjweb.org/doc.php/deletebig

    • 0

  2. Basicamente, uma boa imagem compactada, mesmo que seja impecável, será melhor do que uma linha compactada.

    mas como MARIAFB não suporta compressão em um ALTER TABLE

    O que você pode fazer é

    CREATE tABLE tmp1(Images blob)

    INSERT INTO tmp1 VALUES(RPAD('', 65535, CHAR(7)));

    CREATE TABLE cmp2 (i Blob COMPRESSED=zlib)
SELECT images FROM tmp1

    Records: 1  Duplicates: 0  Warnings: 0

    violino

    • 0

relate perguntas