Início / dba / Perguntas / 333468
Accepted
cargt4
Asked: 2023-11-27 05:47:34 +0800 CST

Erro no observador ao executar o gancho de replicação 'before_commit'. Atualização de 200 mil linhas

  • 772

Tenho script para criptografar colunas na tabela. >200 mil linhas. Em 100k está funcionando.

UPDATE table
SET col1 = TO_BASE64(AES_ENCRYPT(col1, @keyBase, @static_iv)), 
col2 = TO_BASE64(AES_ENCRYPT(col2 , @keyBase, @static_iv))

Editar: reproduzi isso em um exemplo mais simples (> 200 mil registros):

UPDATE table
SET col1 = '1'
mysql

1 respostas

  1. Best Answer

    Plano A: Qual “Erro”? Provavelmente um limite de tempo. Essa é uma configuração que pode ser alterada.

    Plano B: prefiro fazer atualizações massivas de 1.000 linhas por vez. A seguir é discutido como percorrer a tabela usando o PRIMARY KEYto do DELETEs. Uma técnica semelhante funciona bem para `UPDATEs. https://mysql.rjweb.org/doc.php/deletebig#deleting_in_chunks

    Plano C: Faça a conversão enquanto copia a tabela. Isso será executado mais rápido que o UPDATE.

    CREATE TABLE table2 LIKE table;
INSERT INTO table2
            (col1, col2, ...other columns...)
    SELECT  TO_BASE64(AES_ENCRYPT(col1, @keyBase, @static_iv)), 
            TO_BASE64(AES_ENCRYPT(col2, @keyBase, @static_iv)),
            ...other columns...
        FROM table;
RENAME TABLE table2 TO table_old,
             table TO table2;
DROP TABLE table_old;

    UUIDs Se PRIMARY KEYfor um UUID, então o método B precisa da solução de "grande lacuna" mencionada no link acima:

    SELECT @z := uuid FROM tbl WHERE uuid >= @a ORDER BY uuid LIMIT 1000,1

    encontra o milésimo item daqui.

    • 0

relate perguntas