主页 / dba / 问题

问题[mariadb](dba)

Martin Hope
Tomek Stankowski
Asked: 2025-04-05 01:07:06 +0800 CST
  • 7

我在 10.6.21-MariaDB-ubu2004 中遇到了死锁。我的架构如下：

CREATE TABLE INT_CHANNEL_MESSAGE
(
    MESSAGE_ID       CHAR(36)     NOT NULL,
    GROUP_KEY        CHAR(36)     NOT NULL,
    CREATED_DATE     BIGINT       NOT NULL,
    MESSAGE_PRIORITY BIGINT,
    MESSAGE_SEQUENCE BIGINT       NOT NULL AUTO_INCREMENT UNIQUE,
    MESSAGE_BYTES    BLOB,
    REGION           VARCHAR(100) NOT NULL,
    PRIMARY KEY (REGION, GROUP_KEY, CREATED_DATE, MESSAGE_SEQUENCE)
) ENGINE = InnoDB;

CREATE INDEX INT_CHANNEL_MSG_DELETE_IDX ON INT_CHANNEL_MESSAGE (REGION, GROUP_KEY, MESSAGE_ID);

最初，表中只有一行。假设每行的值都是唯一的、唯一的REGION并且GROUP_KEY是固定的。

INSERT事务＃1使用单独的语句插入两行：

INSERT into INT_CHANNEL_MESSAGE(
    MESSAGE_ID,
    GROUP_KEY,
    REGION,
    CREATED_DATE,
    MESSAGE_PRIORITY,
    MESSAGE_BYTES)
values (?, ?, ?, ?, ?, ?)

首先执行插入操作，然后事务挂起。事务 1 的隔离级别为REPEATABLE_READ（尽管已尝试更改为READ_COMMITED）。

事务 #2 在事务 #1 的第一次插入操作执行后立即启动（由应用程序触发）。隔离级别设置为READ_COMMITED。选择初始行进行更新，然后事务在DELETE调用时挂起：

    SELECT INT_CHANNEL_MESSAGE.MESSAGE_ID, INT_CHANNEL_MESSAGE.MESSAGE_BYTES
    from INT_CHANNEL_MESSAGE
    where INT_CHANNEL_MESSAGE.GROUP_KEY = ? and INT_CHANNEL_MESSAGE.REGION = ?
order by CREATED_DATE, MESSAGE_SEQUENCE LIMIT 1 FOR UPDATE SKIP LOCKED

DELETE from INT_CHANNEL_MESSAGE where MESSAGE_ID=? and GROUP_KEY=? and REGION=?

SHOW ENGINE INNODB STATUS输出：

| InnoDB |      | 
=====================================
2025-04-04 16:06:44 0x7fc6241b3700 INNODB MONITOR OUTPUT
=====================================
Per second averages calculated from the last 21 seconds
-----------------
BACKGROUND THREAD
-----------------
srv_master_thread loops: 0 srv_active, 0 srv_shutdown, 2376 srv_idle
srv_master_thread log flush and writes: 2376
----------
SEMAPHORES
----------
------------
TRANSACTIONS
------------
Trx id counter 1646
Purge done for trx's n:o < 1646 undo n:o < 0 state: running
History list length 2
LIST OF TRANSACTIONS FOR EACH SESSION:
---TRANSACTION 1643, ACTIVE 31 sec
2 lock struct(s), heap size 1128, 1 row lock(s), undo log entries 1
MariaDB thread id 76, OS thread handle 140489014748928, query id 8535 172.21.0.1 nbs 
---TRANSACTION 1640, ACTIVE 31 sec fetching rows
mysql tables in use 1, locked 1
LOCK WAIT 3 lock struct(s), heap size 1128, 3 row lock(s), undo log entries 1
MariaDB thread id 75, OS thread handle 140488995890944, query id 8537 172.21.0.1 nbs Updating
SET STATEMENT SQL_SELECT_LIMIT=1 FOR DELETE from INT_CHANNEL_MESSAGE where MESSAGE_ID='ce0ce618-2430-0b4c-727b-7250e5388f15' and GROUP_KEY='cb18446f-633c-3a46-b5ac-95ab539126d1' and REGION='DEFAULT'
------- TRX HAS BEEN WAITING 31293172 us FOR THIS LOCK TO BE GRANTED:
RECORD LOCKS space id 55 page no 3 n bits 320 index PRIMARY of table `nbs_biometric`.`INT_CHANNEL_MESSAGE` trx id 1640 lock_mode X locks rec but not gap waiting
Record lock, heap no 3 PHYSICAL RECORD: n_fields 9; compact format; info bits 0
 0: len 7; hex 44454641554c54; asc DEFAULT;;
 1: len 30; hex 63623138343436662d363333632d336134362d623561632d393561623533; asc cb18446f-633c-3a46-b5ac-95ab53; (total 36 bytes);
 2: len 8; hex 80000196018d82b2; asc         ;;
 3: len 8; hex 8000000000000012; asc         ;;
 4: len 6; hex 00000000066b; asc      k;;
 5: len 7; hex bf000001410110; asc     A  ;;
 6: len 30; hex 63623533326436662d343362352d393164352d636561612d623965616434; asc cb532d6f-43b5-91d5-ceaa-b9ead4; (total 36 bytes);
 7: SQL NULL;
 8: len 30; hex aced0005737200346f72672e737072696e676672616d65776f726b2e6d65; asc     sr 4org.springframework.me; (total 1252 bytes);

------------------
---TRANSACTION (0x7fc6388d7180), not started
0 lock struct(s), heap size 1128, 0 row lock(s)
--------
FILE I/O
--------
Pending flushes (fsync) log: 0; buffer pool: 0
166 OS file reads, 332 OS file writes, 594 OS fsyncs
0.00 reads/s, 0 avg bytes/read, 0.00 writes/s, 0.00 fsyncs/s
-------------------------------------
INSERT BUFFER AND ADAPTIVE HASH INDEX
-------------------------------------
Ibuf: size 1, free list len 0, seg size 2, 0 merges
merged operations:
 insert 0, delete mark 0, delete 0
discarded operations:
 insert 0, delete mark 0, delete 0
0.00 hash searches/s, 0.00 non-hash searches/s
---
LOG
---
Log sequence number 891776
Log flushed up to   891776
Pages flushed up to 42676
Last checkpoint at  42664
0 pending log flushes, 0 pending chkp writes
334 log i/o's done, 0.00 log i/o's/second
----------------------
BUFFER POOL AND MEMORY
----------------------
Total large memory allocated 167772160
Dictionary memory allocated 931712
Buffer pool size   8112
Free buffers       7349
Database pages     763
Old database pages 261
Modified db pages  621
Percent of dirty pages(LRU & free pages): 7.654
Max dirty pages percent: 90.000
Pending reads 0
Pending writes: LRU 0, flush list 0
Pages made young 0, not young 0
0.00 youngs/s, 0.00 non-youngs/s
Pages read 152, created 611, written 0
0.00 reads/s, 0.00 creates/s, 0.00 writes/s
Buffer pool hit rate 1000 / 1000, young-making rate 0 / 1000 not 0 / 1000
Pages read ahead 0.00/s, evicted without access 0.00/s, Random read ahead 0.00/s
LRU len: 763, unzip_LRU len: 0
I/O sum[0]:cur[0], unzip sum[0]:cur[0]
--------------
ROW OPERATIONS
--------------
0 read views open inside InnoDB
Process ID=0, Main thread ID=0, state: sleeping
Number of rows inserted 63, updated 0, deleted 18, read 1182
0.00 inserts/s, 0.00 updates/s, 0.00 deletes/s, 0.00 reads/s
Number of system rows inserted 0, updated 0, deleted 0, read 0
0.00 inserts/s, 0.00 updates/s, 0.00 deletes/s, 0.00 reads/s
----------------------------
END OF INNODB MONITOR OUTPUT
============================
 |

当事务 #1 插入单行时，不会发生死锁。我该如何避免这种情况？

我附加了应用程序日志以供更广泛的了解：

2025-04-04 18:06:13,426 [tx1]: TX START
2025-04-04 18:06:13,426 [tx1]: Executing prepared SQL update
2025-04-04 18:06:13,426 [tx1]: Executing prepared SQL statement [INSERT into INT_CHANNEL_MESSAGE(
    MESSAGE_ID,
    GROUP_KEY,
    REGION,
    CREATED_DATE,
    MESSAGE_PRIORITY,
    MESSAGE_BYTES)
values (?, ?, ?, ?, ?, ?)
]
2025-04-04 18:06:13,427 [tx2]: Executing prepared SQL query
2025-04-04 18:06:13,427 [tx2]: Executing prepared SQL statement [   SELECT INT_CHANNEL_MESSAGE.MESSAGE_ID, INT_CHANNEL_MESSAGE.MESSAGE_BYTES
    from INT_CHANNEL_MESSAGE
    where INT_CHANNEL_MESSAGE.GROUP_KEY = ? and INT_CHANNEL_MESSAGE.REGION = ?
order by CREATED_DATE, MESSAGE_SEQUENCE LIMIT 1 FOR UPDATE SKIP LOCKED]
2025-04-04 18:06:13,429 [tx2]: Executing prepared SQL update
2025-04-04 18:06:13,429 [tx2]: Executing prepared SQL statement [DELETE from INT_CHANNEL_MESSAGE where MESSAGE_ID=? and GROUP_KEY=? and REGION=?]
2025-04-04 18:07:03,430  [tx2]: Error: 1205-HY000: Lock wait timeout exceeded; try restarting transaction
2025-04-04 18:07:03,432 [tx2]: Extracted SQL state class 'HY' from value 'HY000'
2025-04-04 18:07:03,434 [tx1]: Executing prepared SQL update
2025-04-04 18:07:03,434 [tx1]: Executing prepared SQL statement [INSERT into INT_CHANNEL_MESSAGE(
    MESSAGE_ID,
    GROUP_KEY,
    REGION,
    CREATED_DATE,
    MESSAGE_PRIORITY,
    MESSAGE_BYTES)
values (?, ?, ?, ?, ?, ?)
]
2025-04-04 18:07:03,435 [tx2]: Resetting isolation level of JDBC Connection [HikariProxyConnection@1449683964 wrapping org.mariadb.jdbc.Connection@5b1420f9] to 4
2025-04-04 18:07:03,436  [tx1]: TX END
mariadb
Martin Hope
Atmo
Asked: 2025-03-30 19:59:32 +0800 CST
  • 7

我使用的是Ubuntu 24.04.2 LTS (noble)，想在同一台机器上启动MariaDBmariadb-multi服务器的第二个实例。我想我会使用它。

我们的第一个数据库实例运行良好，我相信所有需要的都已安装。
apt list --installed | grep mariadb返回：

libmariadb3/noble-updates,noble-security,now 1:10.11.8-0ubuntu0.24.04.1 amd64 [installed,automatic]
mariadb-client-core/noble-updates,noble-security,now 1:10.11.8-0ubuntu0.24.04.1 amd64 [installed,automatic]
mariadb-client/noble-updates,noble-security,now 1:10.11.8-0ubuntu0.24.04.1 amd64 [installed,automatic]
mariadb-common/noble-updates,noble-security,now 1:10.11.8-0ubuntu0.24.04.1 all [installed,automatic]
mariadb-plugin-provider-bzip2/noble-updates,noble-security,now 1:10.11.8-0ubuntu0.24.04.1 amd64 [installed,automatic]
mariadb-plugin-provider-lz4/noble-updates,noble-security,now 1:10.11.8-0ubuntu0.24.04.1 amd64 [installed,automatic]
mariadb-plugin-provider-lzma/noble-updates,noble-security,now 1:10.11.8-0ubuntu0.24.04.1 amd64 [installed,automatic]
mariadb-plugin-provider-lzo/noble-updates,noble-security,now 1:10.11.8-0ubuntu0.24.04.1 amd64 [installed,automatic]
mariadb-plugin-provider-snappy/noble-updates,noble-security,now 1:10.11.8-0ubuntu0.24.04.1 amd64 [installed,automatic]
mariadb-server-core/noble-updates,noble-security,now 1:10.11.8-0ubuntu0.24.04.1 amd64 [installed,automatic]
mariadb-server/noble-updates,noble-security,now 1:10.11.8-0ubuntu0.24.04.1 amd64 [installed]

但是，在尝试运行的时候mariadb-multi start 2（我在conf文件中配置了相应的实例），出现以下错误：

Command 'mariadb-multi' not found, did you mean:
  command 'mariadbd-multi' from deb mariadb-server (1:10.11.8-0ubuntu0.24.04.1)
Try: apt install <deb name>

我们是否遗漏了一些我不明白的东西？

mariadb
Martin Hope
vrms
Asked: 2025-03-30 05:06:56 +0800 CST
  • 5

我对 MariaDB 还不太熟悉，尤其是复制方面。不过，今天因为值班，我遇到了一个问题。

看起来我的副本在拍摄mysqldump副本时落后了。这是正常现象吗？还是下面的备份命令有问题？

mysqldump --defaults-file=$MYCNF -A --events --routines --master-data=2 | gzip -9 -c > ${BKPFILE}

看起来我们在转储完成后正在赶上进度。

mariadb
Martin Hope
Rohit Gupta
Asked: 2025-03-26 15:59:59 +0800 CST
  • 7
  • 我的开发环境有XAMPP，这意味着我安装了MariaDB。
  • 生产已经安装了MySQL 8。

  1. 当我将新的架构更改从 MariaDB 转移到 MySQL 时，它基本可以正常工作。有时我必须摆弄一下。

  2. 但我的主要问题是，当我备份 MySQL 架构和数据并尝试将其恢复到我的 PC 时，我已经放弃了。这需要太多更改。许多问题与字符集有关。

我能做些什么让 #2 变得更容易？也许是一些关于在 MySQL 上应避免什么的规则。

mariadb
Martin Hope
Derick Turner
Asked: 2025-03-16 20:08:12 +0800 CST
  • 5

我有一组运行 MariaDB 11.4.5 的 Primary->Primary DB 服务器。昨天，这些服务器上的操作系统从 Ubuntu 22.04 升级到了 24.04，因为似乎存在某种形式的内存泄漏，偶尔会导致 OOM Killer 终止数据库，这似乎是合乎逻辑的尝试。在操作系统升级过程中，数据库版本保持不变。

不幸的是，从那时起，该应用程序就一直在消耗服务器上所有可用的内存，直到我们重新启动它或它被 OOM 终止程序终止。

服务器有 40GB 的可用 RAM 和 11GB 的交换空间。使用此 SQL（在另一个 SE DB 线程上找到）

SELECT ROUND(
( @@GLOBAL.key_buffer_size                     
 + @@GLOBAL.query_cache_size 
 + @@GLOBAL.tmp_table_size 
 + @@GLOBAL.innodb_buffer_pool_size 
 + @@GLOBAL.innodb_log_buffer_size 
 + @@GLOBAL.max_connections * ( 
     @@GLOBAL.sort_buffer_size
   + @@GLOBAL.read_buffer_size 
   + @@GLOBAL.read_rnd_buffer_size 
   + @@GLOBAL.join_buffer_size 
   + @@GLOBAL.thread_stack 
   + @@GLOBAL.binlog_cache_size)
) / 1024 / 1024, 1) `total MB`;

应使用的最大内存量为 15GB。我正在使用 btop 来监视服务器，MemB 目前为 35GB（并且还在增加）

我回顾了此处的知识库文章 - https://mariadb.com/kb/en/mariadb-memory-allocation/，并从中更新了以下设置：

query_cache_size=0 query_cache_type=OFF key_buffer_size=10M

并在服务器上设置以下内容将 swappiness 设置为 5 禁用 Numa

我还更改了 mariadb 服务的 systemd 设置：

LimitNOFILE=100000
LimitMEMLOCK=524288

# Set maximum allowed memory
MemoryMax=26GB
MemorySwapMax=8GB

OOMScoreAdjust=-600

BlockIOWeight=1000

TasksMax=99%

Nice=-5

Environment=LD_PRELOAD=/usr/lib/x86_64-linux-gnu/libjemalloc.so.2

显示变量的输出可在此处获得 - https://docs.google.com/spreadsheets/d/1ev9KRWP8l54FpRrhFeX4uxFhJnOlFkV4_vTCZWipcXA/edit?usp=sharing

还有什么原因造成这种情况？

我在错误日志中注意到，即使 InnoDB 内存压力事件监听器已启动，它也不会被调用，直到服务器内存即将耗尽。

我还将服务器 RAM 增加到了 50GB，但这更像是一种权宜之计，而不是解决办法，让我有时间进行进一步调查。

谢谢 Derick

编辑-链接现在也有来自显示全局状态的输出；并显示引擎 innodb 状态；

mariadb
Martin Hope
palmasd1
Asked: 2025-02-18 17:59:24 +0800 CST
  • 6

我有这样的配置MariaDB：

...
    slow_query_log              = /var/log/mysql/mysql-slow.log
    long_query_time             = 1
...

执行查询时我有这样的值SHOW GLOBAL STATUS;。

...
    | Slow_queries                                           | 448152                                           |
...

我还注意到过去一个小时内有超过 30 条长查询。

没有/var/log/mysql/mysql-slow.log文件是什么原因？

mariadb
Martin Hope
Rohit Gupta
Asked: 2025-02-14 23:53:50 +0800 CST
  • 6

我一直将应用程序选项存储为Windows 上的Ini文件，因为它比数据库访问速度更快。此外，有时您需要在访问数据库之前读取其中一些选项。

缺点是，如果您备份数据库，它将缺少选项。

我可以救他们

  • 作为字段，但这会使表格成为包含 50-500 个字段的单行
  • 作为键值对，但检索速度会很慢

我正在考虑将它们作为 JSON 数组存储在一个字段中。这样做有什么缺点吗？

我认为应用程序用什么编写并不重要，因为我可以实现任何合理的东西。Delphi 不仅内置了 JSON（和 INI）库，我还有自己的超快 JSON（和 INI）处理库。MariaDB 也支持 JSON。

该应用程序是用 Delphi (Pascal) 编写的，针对 Windows 进行了编译。但套件的某些部分可能用 PHP 编写（稍后）。

mariadb
Martin Hope
Rohit Gupta
Asked: 2025-02-14 23:46:32 +0800 CST
  • 6

我一直将用户访问权限作为代码中的一组（位）并将其存储为几个大整数（取决于我需要多少个）。

这些权利包括：

  • 允许查看客户记录
  • 允许创建客户记录
  • 允许编辑客户记录
  • 允许删除客户记录
  • 允许运行客户端报告
  • 允许注册手机
  • 允许查看仪表板

所以，它们不仅仅与数据库相关。

我发现我可以将其存储为 JSON 描述数组，但这可能会变得相当大（并且可能很慢）。我可以为每个描述使用 4 个字母的首字母缩写。

是否有第三种方法可以做到这一点，以尽量减少代码的冗长程度。

mariadb
Martin Hope
Rohit Gupta
Asked: 2025-02-10 14:42:31 +0800 CST
  • 5

我的开发机器上有一个 MariaDB 数据库，客户端服务器上也有一个 MariaDB 数据库。

在开发过程中，我会更新数据库架构（以及代码）。当我达到某个里程碑时，我想更新服务器上数据库的元数据。

有没有办法为当前模式添加书签，然后为更改生成 SQL？

  • 我在我的电脑上使用 XAMPP (phpMyAdmin)
  • 我在服务器上使用 Mysql 工作台
  • 两者都在 Windows 上

这里有一个类似的问题，但是

  • 它已经 8 岁了
  • 它适用于 postgresql
  • 它的答案是使用将服务器数据库公开到 Web 的工具。我宁愿不这么做。
mariadb
Martin Hope
Alexey Ozerov
Asked: 2025-01-25 16:25:24 +0800 CST
  • 5

我正在运行 MariaDB 11.4.4 和一个繁忙的网站（Debian12+nginx+php-fpm）。

每隔几天 MariaDB 线程就会冻结一次，直到达到最大连接数。即使终止查询也不会释放线程。MariaDB 无法关闭 最后systemctl stop mariadb我需要killall -9 mariadbd恢复操作。mysql/error.log 或 slow_query.log 中没有任何意外

以下是在 MariaDB 完全锁定之前拍摄的 SHOW FULL PROCESSLIST、SHOW GLOBAL STATUS 和 SHOW ENGINE INNODB STATUS 图像：

https://pastejustit.com/mariadb-debug-info

显示变量在这里：

https://pastebin.com/xeVjpT4A

过去也曾有过类似的报告，但它们与旧版本的 MariaDB 有关，没有明确的解决方案，并且很可能在 MariaDB 10.6 中得到修复。*

有什么想法可以避免这个问题吗？

添加：fully_ping表定义

CREATE TABLE `fully_ping` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `devid` varchar(255) NOT NULL,
  `appid` int(11) NOT NULL DEFAULT 1,
  `firstping_time` datetime DEFAULT NULL COMMENT 'UTC',
  `lastping_time` datetime NOT NULL COMMENT 'UTC',
  `message` mediumtext NOT NULL,
  `pass` varchar(255) DEFAULT NULL,
  `ip` varchar(255) DEFAULT NULL,
  `serial` varchar(255) DEFAULT NULL,
  `counter` int(11) NOT NULL DEFAULT 0,
  `version` int(11) DEFAULT NULL,
  `tls_version` varchar(255) DEFAULT NULL,
  PRIMARY KEY (`id`),
  KEY `devid` (`devid`(191)),
  KEY `appid` (`appid`),
  KEY `lastping_time` (`lastping_time`),
  KEY `counter` (`counter`),
  KEY `serial` (`serial`),
  CONSTRAINT `fully_ping_ibfk_1` FOREIGN KEY (`appid`) REFERENCES `fully_apps` (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=180169 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_520_ci
mariadb