主页 / server / 问题 / 1020632
Accepted
djaho
Asked: 2020-06-09 23:07:39 +0800 CST

MariaDB 减少每个线程的缓冲区 RAM 使用量

  • 772

我一直在寻找这个问题的答案，但在任何地方都找不到。

我想减少每个数据库连接的内存使用量。以下是 mysql Tuner 目前所说的关于我的一个数据库的内存使用情况：

[--] Physical Memory     : 985.2M
[--] Max MySQL memory    : 950.4M
[--] Other process memory: 0B
[--] Total buffers: 292.0M global + 18.8M per thread (35 max threads)
[--] P_S Max memory usage: 0B
[--] Galera GCache Max memory usage: 0B
[OK] Maximum reached memory usage: 310.8M (31.55% of installed RAM)
[!!] Maximum possible memory usage: 950.4M (96.47% of installed RAM)

您可以看到每个线程的内存使用量非常高18.8M。这是我的其他服务器之一的输出：

[--] Total buffers: 400.0M global + 2.8M per thread (250 max threads)

您可以看到这里的内存使用量要低很多（只有 2.8M），因此我可以与数据库建立更多连接。

我试图找出哪个变量控制每个线程的内存使用量，但找不到任何东西。我认为它与 sort_buffer_size 或 read_buffer_size 有关，但是当我更改其中一个变量时，每个线程的使用率似乎并没有下降。

在我看来，这根本不是我可以修改的东西，可能是根据每个线程的实际内存使用情况计算的？

我能做些什么来减少每个线程的缓冲内存使用量吗？

编辑（2020-06-10）：这两个数据库的区别在于第一个是 MariaDB 10.4.12 版本，而第二个是 MariaDB 10.1.38。如果我比较评论中提到的 sort_buffer_size、read_buffer_size、key_buffer_size 等变量，我所看到的只是它们被设置为相同的值。

memory buffer mariadb

3 个回答

  1. Best Answer

    好的，所以经过更多调查后，我终于弄清楚了为什么这两个数字如此不同。

    问题是我在服务器上使用的是旧版本的 mysqltuner.pl，每个线程的最大内存使用量仅为 2.8 MB。6 个月前，mysqltuner.pl 也开始在每个线程的使用量计算中使用max_allowed_pa ​​cket变量值，这增加了 16 MB，达到 18.8 MB。这是github上的更改：https ://github.com/major/MySQLTuner-perl/commit/c5765f02133259b40d9932eb7d35ba5c1665bad9 运行更新版本的mysqltuner.pl后，RAM使用情况如下所示：

    [--] Total buffers: 400.0M global + 18.8M per thread (250 max threads)

    这些是用于计算每个线程的缓冲区使用量的变量（对于相对较新的 MariaDB 版本）：

    read_buffer_size,
read_rnd_buffer_size,
sort_buffer_size,
thread_stack,
max_allowed_packet,
join_buffer_size

    只有@Wilson Hauck 提到了 max_allowed_pa​​cket 变量；）

    如果有人需要，这里是检查这些值的查询：

    SHOW GLOBAL VARIABLES WHERE variable_name IN('read_buffer_size', 'read_rnd_buffer_size', 'sort_buffer_size', 'thread_stack', 'max_allowed_packet', 'join_buffer_size');

    因此，经过所有这些研究，我发现第二台服务器（250）上允许的数据库连接数量太多了。如果总共使用，我的数据库可以使用 5GB 的 RAM，而我在这个系统上只有 2GB。

    最初问题的实际答案： 因此，如果我想降低每个线程或每个连接的内存使用量（正如你们中的一些人提到的那样），我可能不得不降低 max_allowed_pa​​cket 值，但我不确定这是否是好主意。

    感谢大家的帮助。

    • 4

  2. 那是一个假数字。它基于许多悲观的假设。即便如此，在一些非常极端的情况下，它还是被低估了。（该指标没有很好的表达方式。）

    您似乎有 1GB 的 RAM。这是一个非常小的数量，但它是可行的。

    （注意：当 RAM 用完时，会发生交换。但是，由于 MariaDB 是在假设没有交换的情况下优化的，所以交换会导致性能非常差。）

    你有任何其他应用程序在那个 1GB 中运行吗？如果是这样，事情就更加紧张了。

    首先，检查innodb_buffer_pool_size. 200M可能太高了。 max_connections最多应为 20。这些应小于 10M：tmp_table_size、max_heap_table_size、sort_buffer_size、innodb_log_buffer_size、read_buffer_size、read_rnd_buffer_size。

    如果您想进一步分析，请参阅http://mysql.rjweb.org/doc.php/mysql_analysis#tuning

    • 2

  3. 您问题的迂腐答案是：thread_stack_size 控制每个线程的内存。

    任何其他变量都与线程无关，尽管 max_connections 限制了线程数，但即使有数千个连接，您仍然可以使用一个线程（thread_handling = pool-of-threads，thread_pool_max_threads=1），虽然我不建议这样做。

    • -1

相关问题