我有以下表格:
CREATE TABLE `users` (
`id` int(11) NOT NULL AUTO_INCREMENT,
`first_name` varchar(255) COLLATE utf8_unicode_ci DEFAULT NULL,
`last_name` varchar(255) COLLATE utf8_unicode_ci DEFAULT NULL,
`account_data` text COLLATE utf8_unicode_ci,
`created_at` datetime DEFAULT NULL,
`updated_at` datetime DEFAULT NULL,
`twitter_username` varchar(255) COLLATE utf8_unicode_ci DEFAULT NULL,
`email` varchar(255) COLLATE utf8_unicode_ci NOT NULL,
`crypted_password` varchar(255) COLLATE utf8_unicode_ci NOT NULL,
`password_salt` varchar(255) COLLATE utf8_unicode_ci NOT NULL,
`persistence_token` varchar(255) COLLATE utf8_unicode_ci NOT NULL,
`single_access_token` varchar(255) COLLATE utf8_unicode_ci NOT NULL,
`perishable_token` varchar(255) COLLATE utf8_unicode_ci NOT NULL,
`login_count` int(11) NOT NULL DEFAULT '0',
`failed_login_count` int(11) NOT NULL DEFAULT '0',
`last_request_at` datetime DEFAULT NULL,
`current_login_at` datetime DEFAULT NULL,
`last_login_at` datetime DEFAULT NULL,
`current_login_ip` varchar(255) COLLATE utf8_unicode_ci DEFAULT NULL,
`last_login_ip` varchar(255) COLLATE utf8_unicode_ci DEFAULT NULL,
`is_admin` tinyint(1) DEFAULT '0',
`referrer_id` int(11) DEFAULT NULL,
`partner` tinyint(1) DEFAULT '0',
`subscription_type` varchar(255) COLLATE utf8_unicode_ci DEFAULT 'free',
`workflow_state` varchar(255) COLLATE utf8_unicode_ci DEFAULT NULL,
`persona_id` int(11) DEFAULT NULL,
PRIMARY KEY (`id`),
KEY `persona_index` (`persona_id`)
) ENGINE=InnoDB
和表格:
CREATE TABLE `user_actions` (
`id` int(11) NOT NULL AUTO_INCREMENT,
`user_id` int(11) DEFAULT NULL,
`action_type` varchar(255) COLLATE utf8_unicode_ci DEFAULT NULL,
`module` varchar(255) COLLATE utf8_unicode_ci DEFAULT NULL,
`data` text COLLATE utf8_unicode_ci,
`timestamp` datetime DEFAULT NULL,
`created_at` datetime DEFAULT NULL,
`updated_at` datetime DEFAULT NULL,
PRIMARY KEY (`id`),
KEY `user_id_index` (`user_id`),
KEY `action_type_index` (`action_type`),
KEY `user_action_type_index` (`user_id`,`action_type`),
KEY `timestamp_index` (`timestamp`),
KEY `user_id_timestamp_index` (`user_id`,`timestamp`)
) ENGINE=InnoDB
问题在于以下查询:
SELECT user_actions.*, users.twitter_username, users.email FROM `user_actions`
INNER JOIN users ON (user_actions.user_id=users.id) ORDER BY timestamp DESC LIMIT 0, 30
这是解释:
user_actions
The table was retrieved with this index: user_id_timestamp_index
You can speed up this query by querying only fields that are within the index. Or you can create an index that includes every field in your query, including the primary key.
Approximately 76 rows of this table were scanned.
users
This table was retrieved with a full table scan, which is often quite bad for performance, unless you only retrieve a few rows.
The table was retrieved with this index:
No index was used in this part of the query.
A temporary table was created to access this part of the query, which can cause poor performance. This typically happens if the query contains GROUP BY and ORDER BY clauses that list columns differently.
MySQL had to do an extra pass to retrieve the rows in sorted order, which is a cause of poor performance but sometimes unavoidable.
You can speed up this query by querying only fields that are within the index. Or you can create an index that includes every field in your query, including the primary key.
Approximately 3445 rows of this table were scanned.
这个查询需要很长时间才能执行,有什么想法可以改进吗?
这是您的原始查询:
我注意到的第一件事是您要加入两个完整的表。由于您只需要
twitter_username
和email
来自users
表,因此您应该只users
使用三列连接id
:twitter_username
和email
。第二件事是
LIMIT
条款。它在加入后执行。您应该在加入之前执行它。在您的情况下,您请求 30 个最近的用户操作。如果您可以保证从 中仅检索 30 行user_actions
,则连接应该运行得更快。如果您从 @DTest 阅读答案,他的前两个要点已经告诉您查询出了什么问题,因为 mysql 在从每个表中收集数据时将采取的操作。关键是要了解在处理查询时临时表的外观以及数据将驻留的位置(内存或磁盘)。
您需要做的是重构查询以欺骗 MySQL 查询优化器。强制查询生成较小的临时表。在大多数情况下,my.cnf 中的配置更改应该会产生巨大的影响。在其他情况下,例如这种情况,重构查询可能就足够了。
这是我对您的查询的建议更改,它应该可以更快地工作:
以下是重构查询的原因:
原因 #1
如果您查看内联表
ua
,我只使用LIMIT
. 无论桌子有多大,都会发生这种情况user_actions
。它已经被订购,因为ORDER BY timestamp DESC
发生在LIMIT
.原因 #2
如果你看一下内联表
u
,它有id
,twitter_username
,email
.id
是实现连接所必需的。原因 #3
我使用
LEFT JOIN
而不是INNER JOIN
出于两(2)个原因:ua
ua
不再存在,则显示所有用户操作users
。做这些事情会迫使临时表变小。尽管如此,您仍然需要从@DTest 的回答中实施要点#3,以抢占临时表在磁盘上的位置。
那么主要问题是,由于您的查询没有任何过滤(没有
WHERE
语句),它将所有带有列的行user_actions.*, twitter_username, email
放入一个临时表中进行排序。所以我要做的第一件事是尝试限制进入结果集中的行数。例如,我会说添加 a
WHERE timestamp > DATE_SUB(NOW(), INTERVAL 7 DAY)
以仅在过去 7 天内获得结果(如果您的用例可以接受)。接下来,我将更改查询以仅从中提取所需的列,
user_actions
以减少放入临时表所需的信息量。现在您可能已经删除了也可能没有删除需要放在临时表中进行排序的行/列,让我们看看 MySQL 如何处理临时表。从关于
tmp_table_size
变量的文档(强调添加):首先,让我指出上标1表示的警告:在内存中创建的临时表的大小是
tmp_table_size
或的最小值max_heap_table_size
,因此如果增加一个,请务必增加另一个。如果您的数据量超过这两个变量中最小值的大小,它将被放置在磁盘上。磁盘很慢。如果可以避免,请不要做磁盘!
回顾一下:
使用 .限制要排序的行数
WHERE
。即使您正在执行LIMIT
,所有行仍被放置在临时表中进行排序。限制您请求的列数。如果您不需要它们,请不要索取它们。
最后的手段,如果查询正在增加您的状态变量,请增加
tmp_table_size
其max_heap_table_size
大小Created_tmp_disk_tables
。另外,不要大幅增加。它可能会对性能产生影响,具体取决于您的硬件和服务器上的 RAM 量。