主页 / dba / 问题 / 39221
Accepted
Ruchit Rami
Asked: 2013-04-05 02:57:19 +0800 CST

使用 MySQL 中的常规日志捕获的查询对 MySQL 进行压力测试

  • 772

是否有任何工具可以使用 MySQL 通用日志创建的日志文件进行压力测试？在谷歌上大量搜索后，我发现很少有压力测试工具只使用一些基准进行压力测试。一种解决方案是使用 Apache JMeter，但它不会从 MySQL 日志文件创建测试计划，并且为我拥有的所有查询创建自定义测试计划太耗时了。
或者是否有至少可以从 MySQL 日志创建 .sql 文件的工具？

mysql logs

2 个回答

  1. 这是使用蛮力 mysql 的更直接的方法：将一般设置为 MyISAM 表。安装时，您会发现该表mysql.general_log为 CSV 表。

    与其重新发明轮子并进行大量打字，请阅读我过去的帖子：

    一旦您mysql.general_log转换为 MyISAM 并记录查询，只需像访问任何其他 MyISAM 表一样访问日志。

    这是MyISAM版本的结构mysql.general_log

    mysql> show create table mysql.general_log\G
*************************** 1. row ***************************
       Table: general_log
Create Table: CREATE TABLE `general_log` (
  `event_time` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP,
  `user_host` mediumtext NOT NULL,
  `thread_id` int(11) NOT NULL,
  `server_id` int(10) unsigned NOT NULL,
  `command_type` varchar(64) NOT NULL,
  `argument` mediumtext NOT NULL,
  KEY `event_time` (`event_time`)
) ENGINE=MyISAM DEFAULT CHARSET=latin1
1 row in set (0.00 sec)

    从这里，只需编写以查询开头的所有内容：

    SQLSTMT="SELECT argument FROM mysql.general_log"
SQLSTMT="${SQLSTMT} WHERE LEFT(argument,6) IN"
SQLSTMT="${SQLSTMT} ('INSERT','UPDATE','DELETE','SELECT')"
mysql -uroot -p -ANe"${SQLSTMT}" > SQLCommands.sql

    你去吧。

    试试看 ！！！

    • 5
  2. Best Answer

    这只是一个跟踪而不是一个完整的解决方案，“你的”解决方案是基于你的幻想（和一些工作）；）

    我已经完成了这种由通用查询日志生成的测试捕获和清理查询，并在编写自己的文件后使用sysbench 0.5lua，您可以在官方源代码中找到一些示例，在我的数据库（硬件和模式/数据的镜像）上-快照，以便我可以立即恢复数据的原始状态-)。

    然后你可以运行这样的命令：

    ./sysbench --mysql-table-engine=myisam --mysql-db=<yourdb> --mysql-user=<user> --mysql-host=<host> --mysql-password=<pass> --test=tests/db/<yourlua>.lua --num-threads=8 --max-requests=8 run

    收集并绘制结果、更改并发和请求，并监控您的数据库和硬件状态。

    我的lua文件包含大约 80.000 个查询，它由插入、更新和删除组成

    更新#1

    您可以尝试的一个很好的起点是开始（简单地）编写您的lua文件，如下所示：

    pathtest = string.match(test, "(.*/)") or ""

dofile(pathtest .. "common.lua")

function thread_init(thread_id)
   set_vars()

   if (db_driver == "mysql" and mysql_table_engine == "myisam") then
      -- begin_query = "LOCK TABLES ".. table_name .." WRITE"
      -- commit_query = "UNLOCK TABLES"
      begin_query = "SELECT 1>0"
      commit_query = "SELECT 1>0"
   else
      begin_query = "BEGIN"
      commit_query = "COMMIT"
   end
end

function event(thread_id)
    local table_name
    db_query(begin_query)
    rs = db_query("INSERT INTO .....")
    rs = db_query("INSERT INTO .....")
    rs = db_query("SELECT ... FROM ...")
    rs = db_query("DELETE ...")
    db_query(commit_query)
end

    将您的查询放入db_query("")函数中，为此类过程清理您的一般查询日志需要一些工作

    这里是一个“个人”lua文件的简单输出，就像上面一样，有 9 个查询，7 个插入和 2 个选择，+2 BEGIN/COMMIT：

    sysbench 0.5:  multi-threaded system evaluation benchmark

Running the test with following options:
Number of threads: 8
Random number generator seed is 0 and will be ignored


Threads started!

OLTP test statistics:
    queries performed:
        read:                            32
        write:                           56
        other:                           0
        total:                           88
    transactions:                        0      (0.00 per sec.)
    deadlocks:                           0      (0.00 per sec.)
    read/write requests:                 88     (7728.11 per sec.)
    other operations:                    0      (0.00 per sec.)

General statistics:
    total time:                          0.0114s
    total number of events:              8
    total time taken by event execution: 0.0252s
    response time:
         min:                                  2.87ms
         avg:                                  3.15ms
         max:                                  3.65ms
         approx.  95 percentile:               3.65ms

Threads fairness:
    events (avg/stddev):           1.0000/0.00
    execution time (avg/stddev):   0.0032/0.00

    希望这可以帮助

    • 2

相关问题