主页 / dba / 问题 / 45105
Accepted
Ji ZHANG
Asked: 2013-06-24 00:08:04 +0800 CST

实时分析 MySQL 通用查询日志？

  • 772

我们想用mysql通用查询日志来做实时监控和审计。

目前我们的做法是：

  • 设置general_log=on；
  • 睡15m；
  • 设置general_log=off；
  • scp & rm xxx.log;
  • 设置 general_log=on;...

但主要问题是当打开/关闭通用日志时，它会导致缓慢查询的高峰。

我也想到了另一种方法：开启genlog；tail -f 并发送日志；定期截断日志文件（使用“> xxx.log”或“cat /dev/null >xxx.log”）。

我想知道它是否实用。

如果只有 mysql 会提供一些内置的通用日志消息队列的东西......

mysql log

1 个回答

  1. Best Answer

    如果您对通过常规日志进行监控真的很感兴趣，可以尝试两种主要方法：

    方法#1：轮换日志

    假设您有以下配置my.cnf：

    [mysqld]
general-log
general-log-file=/var/log/mysql_general.log

    您可以使用以下脚本轮换一般日志：

    MYSQL_CONN="-uroot -prootpassword"
DT=`date +"%Y%m%d"`
OLDLOG=mysql_general_${DT}.log
cd /var/log
mysql ${MYSQL_CONN} -e"SET GLOBAL general_log = 'OFF';"
cp mysql_general.log ${OLDLOG}
echo -n > mysql_general.log
mysql ${MYSQL_CONN} -e"SET GLOBAL general_log = 'ON';"

    至于您的监控，您将像以前一样扫描文本文件。您始终可以将 general.log 的以前副本作为档案回顾。

    方法 #2：将常规日志设为 MyISAM 表

    尝试将常规日志设置为 MyISAM。

    首先让我们配置表以记录到表

    [mysqld]
general-log
log-output=TABLE

    接下来，MySQL 提供表mysql.general_log。它看起来像这样：

    mysql> show create table mysql.general_log\G 
*************************** 1. row *************************** 
       Table: general_log 
Create Table: CREATE TABLE `general_log` ( 
  `event_time` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP, 
  `user_host` mediumtext NOT NULL, 
  `thread_id` int(11) NOT NULL, 
  `server_id` int(10) unsigned NOT NULL, 
  `command_type` varchar(64) NOT NULL, 
  `argument` mediumtext NOT NULL 
) ENGINE=CSV DEFAULT CHARSET=utf8 COMMENT='General log'

    当然，作为CSV 表的一般日志几乎没有用处。你可以做两件事：

    • 把它变成一个 MyISAM 表
    • 根据需要索引它，从event_time

    这是该代码：

    SET @old_log_state = @@global.general_log; 
SET GLOBAL general_log = 'OFF'; 
ALTER TABLE mysql.general_log ENGINE = MyISAM; 
ALTER TABLE mysql.general_log ADD INDEX (event_time); 
SET GLOBAL general_log = @old_log_state;

    当烟雾散去后，mysql.general_log现在看起来像这样：

    mysql> show create table general_log\G
*************************** 1. row ***************************
       Table: general_log
Create Table: CREATE TABLE `general_log` (
  `event_time` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP,
  `user_host` mediumtext NOT NULL,
  `thread_id` int(11) NOT NULL,
  `server_id` int(10) unsigned NOT NULL,
  `command_type` varchar(64) NOT NULL,
  `argument` mediumtext NOT NULL,
  KEY `event_time` (`event_time`)
) ENGINE=MyISAM DEFAULT CHARSET=utf8 COMMENT='General log'
1 row in set (0.00 sec)

    事件记录在此表中，而不是文本文件中。当然，您也想旋转它。这是那个脚本

    SCRIPT=/tmp/rotate_general_log_table.sql
MYSQL_CONN="-uroot -prootpassword"
DT=`date +"%Y%m%d"`
OLDLOG=general_log_${DT}
echo "SET GLOBAL general_log = 'OFF';" > ${SCRIPT}
echo "ALTER TABLE mysql.general_log RENAME mysql.${OLDLOG};" >> ${SCRIPT}
echo "CREATE TABLE mysql.general_log LIKE mysql.${OLDLOG};" >> ${SCRIPT}
echo "SET GLOBAL general_log = 'ON';" >> ${SCRIPT}
mysql ${MYSQL_CONN} < ${SCRIPT}

    至于您的监控，您可以mysql.general_log像这样查询表：

    SELECT * FROM mysql.general_log WHERE argument LIKE '...';

    也许你可能想检查过去 4 小时

    SELECT * FROM mysql.general_log
WHERE event_time >= (NOW() - INTERVAL 4 HOUR)
AND argument LIKE '...';

    警告

    如果你想要文本文件和表格，那么像这样配置它们：

    [mysqld]
general-log
general-log-file=/var/log/mysql_general.log
log-output=TABLE,FILE

    当然，您必须实现两者的轮换。

    我写过其他关于mysql.general_log：

    试试看 ！！！

    • 2

相关问题