主页 / dba / 问题 / 301482
Accepted
Student
Asked: 2021-10-22 14:19:23 +0800 CST

在批量更新期间选择 MySQL 行

  • 772

我目前有一个包含 500K 行的数据库，未来可能会增长到 300 万行。表的结构如下所示：

-id
-price
-sku
-version（由日期时间字符串表示，即 20211012）

我有一个 ETL 作业，它将每晚更新价格和版本列，只有 UPDATE 语句，没有 INSERT 和 DELETE。我的问题是为了显示该项目，我需要按 sku 和版本进行查询。在 ETL 作业运行之前，一切正常。但是，当 ETL 作业开始批量更新行时，版本会发生变化，并且由于版本不匹配，我不再能够选择该特定 sku。

我解决此问题的想法是跟踪 ETL 作业执行的先前和当前版本（即 20211012 和 20211013），以便在记录已更新或回退到先前版本时尝试选择当前版本如果 ETL 作业尚未更新该特定对象。

有什么我应该注意的陷阱吗？如果我对 ETL 作业同时更新的特定记录执行 SELECT 会发生什么？

mysql etl

2 个回答

  1. Best Answer
    CREATE TEMPORARY TABLE ...;  -- to hold the day's updates
LOAD DATA ...; -- into that table
massage the data if anything needs 'fixing'
INSERT INTO real_table (col1, ...)
    SELECT col1, ...
        FROM temp_table
    ON DUPLICATE KEY UPDATE
        ...;

    全部一次性完成。处理插入、更新（但不处理删除）

    如果这会阻止表的使用时间过长，请参阅以下内容以分块 upsert 步骤：http: //mysql.rjweb.org/doc.php/deletebig#deleting_in_chunks

    • 1

  2. 实际上，陈旧的数据是最坏的情况。可能想要查看事务隔离级别并正确配置您的实例以最适合您可以处理的情况。在这种情况下，可重复读取可能是一个可靠的开始，并将您的更新批处理到单行语句中。您可以一次将它们批处理 10k 行。

    • 0

相关问题