主页 / dba / 问题 / 13399
Accepted
Lucas Kauffman
Asked: 2012-02-20 03:56:14 +0800 CST

需要找到重复的条目

  • 772

我收到了一个有几百万条记录的数据库，但显然其中可能有重复的记录。

用户向数据库中输入数据并生成主键，但是如果用户再次输入相同的数据，将为该数据生成一个新的主键，即使该数据之前已经输入过。没有对此进行检查。

我需要去寻找这些重复项，但我真的不知道从哪里开始。我首先想到连接子查询中除主键之外的所有单元格，然后计算这些行并查看哪些行的计数高于 1。

比照。

pkey    recipe     fkey    comment
1   toast       3       tasty
2   curry       2       spicy
3   curry       2       spicy
4   bread       1           crumbly
5   orios       2       cookies

这里的 curry 条目是相同的，我必须删除其中的 1 个。

但是我读到在 mysql 中连接是不可预测的，我也觉得有点不对劲。

有什么提示吗？

mysql duplication

1 个回答

  1. Best Answer

    假设您的表名为ingredients. 尝试以下操作：

    步骤 01) 创建一个名为的空删除键表ingredients_delete_keys

    CREATE TABLE ingredients_delete_keys
SELECT fk,recipe,pkey FROM ingredients WHERE 1=2;

    步骤 02) 创建 PRIMARY KEY oningredients_delete_keys

    ALTER TABLE ingredients_delete_keys ADD PRIMARY KEY (fk,recipe,pkey);

    步骤 03)ingredients用 fk、recipe、pkey 索引表

    ALTER TABLE ingredients ADD INDEX fk_recipe_pkey_ndx (fk,recipe,pkey);

    步骤 04) 填充ingredients_delete_keys表格

    INSERT INTO ingredients_delete_keys
SELECT fk,recipe,MIN(pkey)
FROM ingredients GROUP BY fk,recipe;

    步骤 05) 使用不匹配的键对成分表执行 DELETE JOIN

    DELETE B.*
FROM ingredients_delete_keys A
LEFT JOIN ingredients B
USING (fk,recipe,pkey)
WHERE B.pkey IS NULL;

    步骤 06) 放下删除键

    DROP TABLE ingredients_delete_keys;

    步骤 07) 去掉fk_recipe_pkey_ndx索引

    ALTER TABLE ingredients DROP INDEX fk_recipe_pkey_ndx;

    好的，这是一个块中的所有行......

    CREATE TABLE ingredients_delete_keys
SELECT fk,recipe,pkey FROM ingredients WHERE 1=2;
ALTER TABLE ingredients_delete_keys ADD PRIMARY KEY (fk,recipe,pkey);
ALTER TABLE ingredients ADD INDEX fk_recipe_pkey_ndx (fk,recipe,pkey);
INSERT INTO ingredients_delete_keys
SELECT fk,recipe,MIN(pkey)
FROM ingredients GROUP BY fk,recipe;
DELETE B.*
FROM ingredients_delete_keys A
LEFT JOIN ingredients B
USING (fk,recipe,pkey)
WHERE B.pkey IS NULL;
DROP TABLE ingredients_delete_keys;
ALTER TABLE ingredients DROP INDEX fk_recipe_pkey_ndx;

    试试看 ！！！

    警告

    请注意，使用 MIN 函数有助于保留为 fk 输入的第一个 pkey。如果改为将其切换为 MAX 功能，则保留为 fk 输入的最后一个 pkey。

    • 1

相关问题