AskOverflow.Dev

AskOverflow.Dev Logo AskOverflow.Dev Logo

AskOverflow.Dev Navigation

  • 主页
  • 系统&网络
  • Ubuntu
  • Unix
  • DBA
  • Computer
  • Coding
  • LangChain

Mobile menu

Close
  • 主页
  • 系统&网络
    • 最新
    • 热门
    • 标签
  • Ubuntu
    • 最新
    • 热门
    • 标签
  • Unix
    • 最新
    • 标签
  • DBA
    • 最新
    • 标签
  • Computer
    • 最新
    • 标签
  • Coding
    • 最新
    • 标签
主页 / dba / 问题 / 153371
Accepted
HTF
HTF
Asked: 2016-10-27 04:48:43 +0800 CST2016-10-27 04:48:43 +0800 CST 2016-10-27 04:48:43 +0800 CST

有没有办法实际限制 InnoDB 数据字典?

  • 772

我想降级 AWS 实例以节省成本,但是由于表和工作负载(逻辑备份)的数量,InnoDB 数据字典变得非常大。

mysql> SELECT COUNT(*) FROM information_schema.INNODB_SYS_TABLES;
+----------+
| COUNT(*) |
+----------+
|  1020034 |
+----------+
1 row in set (4.61 sec)

mysql> SELECT COUNT(*) FROM information_schema.INNODB_SYS_INDEXES;
+----------+
| COUNT(*) |
+----------+
|  2628181 |
+----------+
1 row in set (4.99 sec)

-

mysql> SHOW GLOBAL VARIABLES LIKE 'table_%';
+----------------------------+-------+
| Variable_name              | Value |
+----------------------------+-------+
| table_definition_cache     | 400   |
| table_open_cache           | 1     |
| table_open_cache_instances | 1     |
+----------------------------+-------+
3 rows in set (0.00 sec)

mysql> SHOW GLOBAL STATUS LIKE 'Open%table%';
+--------------------------+----------+
| Variable_name            | Value    |
+--------------------------+----------+
| Open_table_definitions   | 400      |
| Open_tables              | 1        |
| Opened_table_definitions | 2312885  |
| Opened_tables            | 22403462 |
+--------------------------+----------+
4 rows in set (0.00 sec)

-

mysql> SHOW GLOBAL STATUS LIKE 'Innodb_mem_dictionary';
+-----------------------+------------+
| Variable_name         | Value      |
+-----------------------+------------+
| Innodb_mem_dictionary | 4517841711 |
+-----------------------+------------+
1 row in set (0.00 sec)

表定义缓存

对于 InnoDB,table_definition_cache 充当 InnoDB 数据字典缓存中打开表实例数量的软限制。如果打开表实例的数量超过了table_definition_cache设置,LRU机制开始将表实例标记为逐出,并最终将其从数据字典缓存中移除。

知道为什么这没有发生吗?我想知道在这种情况下启用 innodb_file_per_table 是否有帮助。

一些额外的信息:

mysql> SHOW GLOBAL VARIABLES LIKE 'innodb_buffer_pool_size';
+-------------------------+------------+
| Variable_name           | Value      |
+-------------------------+------------+
| innodb_buffer_pool_size | 8589934592 |
+-------------------------+------------+
1 row in set (0.00 sec)

mysql> SELECT @@version, @@version_comment;
+--------------------+---------------------------------------------------------------------------------------------------+
| @@version          | @@version_comment                                                                                 |
+--------------------+---------------------------------------------------------------------------------------------------+
| 5.6.30-76.3-56-log | Percona XtraDB Cluster (GPL), Release rel76.3, Revision aa929cb, WSREP version 25.16, wsrep_25.16 |
+--------------------+---------------------------------------------------------------------------------------------------+
1 row in set (0.00 sec)

-

# cat /etc/redhat-release
CentOS Linux release 7.2.1511 (Core)

# free -m
              total        used        free      shared  buff/cache   available
Mem:          14881       14239         326           6         315         378
Swap:          4095        1237        2858

# ps -o %mem,rss,vsize -C mysqld
%MEM   RSS    VSZ
94.2 14364148 16262404
mysql innodb
  • 2 2 个回答
  • 454 Views

2 个回答

  • Voted
  1. Rick James
    2016-10-27T12:16:22+08:002016-10-27T12:16:22+08:00

    一百万张桌子?!!仅此一项就可能使 MySQL 窒息。你在做什么?

    • 为每个“用户”或“公司”或其他什么创建一个表?那必须停止。
    • 在表中创建大量分区?那是低效的。

    运行这个;它可能会提供关于它是表、分区还是其他什么的线索:

    ( select * from information_schema.INNODB_SYS_TABLES
          order by rand() limit 33 ) ORDER BY name;
    

    数据库或表名称的模式可能很明显。以 like 结尾#p#p200805的名称是分区名称。如果是表或数据库,让我们讨论如何做。请提供一些关于您的表格的提示。在此之前,我将提供一些通用建议。

    不是每个实体一个表,而是一个表。其中有一个 id 指示涉及哪个实体。(“实体”是“用户”、“公司”或您创建新表所基于的任何内容。)

    然后,为了摆脱一个表,你将需要大量的磁盘空间和停机时间来将数百万个表复制到少数几个表中,同时添加 id。

    如果是分区,让我们讨论一下。单个表中超过 50 个分区会导致效率低下。少于一百万行的表不应(通常)进行分区。请提供SHOW CREATE TABLE,因为有很多可能的问题。我在这里给出一些答案。

    警告:我所说的大部分内容对于8.0 版都是无效的,而且它是集成的数据字典。许多数据库或表或分区不是什么大问题。

    • 3
  2. Best Answer
    HTF
    2016-10-31T10:16:53+08:002016-10-31T10:16:53+08:00

    看起来这个变量没有正常工作,Percona 在 5.5 中的先前实现(innodb_dict_size_limit)更可靠:

    在此处输入图像描述

    更新:2016 年 10 月 30 日星期日 20:07:20 GMT

    实际上,这目前不会从字典缓存中删除带有 FOREIGN KEYS 的表,我们每个数据库有 76 个带有 FOREIGN KEYS 的表:

    参考资料:

    目前我们不驱逐处于外键关系中的表,无论是引用表还是引用另一个表的表。处理此类表的工作正在进行中,敬请期待。

    • 0

相关问题

  • 是否有任何 MySQL 基准测试工具?[关闭]

  • 我在哪里可以找到mysql慢日志?

  • 如何优化大型数据库的 mysqldump?

  • 什么时候是使用 MariaDB 而不是 MySQL 的合适时机,为什么?

  • 组如何跟踪数据库架构更改?

Sidebar

Stats

  • 问题 205573
  • 回答 270741
  • 最佳答案 135370
  • 用户 68524
  • 热门
  • 回答
  • Marko Smith

    连接到 PostgreSQL 服务器:致命:主机没有 pg_hba.conf 条目

    • 12 个回答
  • Marko Smith

    如何让sqlplus的输出出现在一行中?

    • 3 个回答
  • Marko Smith

    选择具有最大日期或最晚日期的日期

    • 3 个回答
  • Marko Smith

    如何列出 PostgreSQL 中的所有模式?

    • 4 个回答
  • Marko Smith

    列出指定表的所有列

    • 5 个回答
  • Marko Smith

    如何在不修改我自己的 tnsnames.ora 的情况下使用 sqlplus 连接到位于另一台主机上的 Oracle 数据库

    • 4 个回答
  • Marko Smith

    你如何mysqldump特定的表?

    • 4 个回答
  • Marko Smith

    使用 psql 列出数据库权限

    • 10 个回答
  • Marko Smith

    如何从 PostgreSQL 中的选择查询中将值插入表中?

    • 4 个回答
  • Marko Smith

    如何使用 psql 列出所有数据库和表?

    • 7 个回答
  • Martin Hope
    Jin 连接到 PostgreSQL 服务器:致命:主机没有 pg_hba.conf 条目 2014-12-02 02:54:58 +0800 CST
  • Martin Hope
    Stéphane 如何列出 PostgreSQL 中的所有模式? 2013-04-16 11:19:16 +0800 CST
  • Martin Hope
    Mike Walsh 为什么事务日志不断增长或空间不足? 2012-12-05 18:11:22 +0800 CST
  • Martin Hope
    Stephane Rolland 列出指定表的所有列 2012-08-14 04:44:44 +0800 CST
  • Martin Hope
    haxney MySQL 能否合理地对数十亿行执行查询? 2012-07-03 11:36:13 +0800 CST
  • Martin Hope
    qazwsx 如何监控大型 .sql 文件的导入进度? 2012-05-03 08:54:41 +0800 CST
  • Martin Hope
    markdorison 你如何mysqldump特定的表? 2011-12-17 12:39:37 +0800 CST
  • Martin Hope
    Jonas 如何使用 psql 对 SQL 查询进行计时? 2011-06-04 02:22:54 +0800 CST
  • Martin Hope
    Jonas 如何从 PostgreSQL 中的选择查询中将值插入表中? 2011-05-28 00:33:05 +0800 CST
  • Martin Hope
    Jonas 如何使用 psql 列出所有数据库和表? 2011-02-18 00:45:49 +0800 CST

热门标签

sql-server mysql postgresql sql-server-2014 sql-server-2016 oracle sql-server-2008 database-design query-performance sql-server-2017

Explore

  • 主页
  • 问题
    • 最新
    • 热门
  • 标签
  • 帮助

Footer

AskOverflow.Dev

关于我们

  • 关于我们
  • 联系我们

Legal Stuff

  • Privacy Policy

Language

  • Pt
  • Server
  • Unix

© 2023 AskOverflow.DEV All Rights Reserve