Início / dba / Perguntas / 39221
Accepted
Ruchit Rami
Asked: 2013-04-05 02:57:19 +0800 CST

Teste de estresse do MySQL com consultas capturadas com log geral no MySQL

  • 772

Existe alguma ferramenta disponível que possa fazer testes de estresse usando o arquivo de log criado pelo log geral do MySQL? Depois de muita pesquisa no google, encontrei algumas ferramentas de teste de estresse que usam apenas alguns benchmarks para teste de estresse. Uma solução é usar o Apache JMeter, mas ele não cria planos de teste a partir do arquivo de log do MySQL e criar um plano de teste personalizado para todas as consultas que tenho consome muito tempo.
Ou existe uma ferramenta que pode pelo menos criar um arquivo .sql a partir do log do MySQL?

mysql logs

2 respostas

  1. Aqui está uma abordagem mais direta usando o mysql de força bruta: Configure o geral como uma tabela MyISAM. Na instalação, você encontrará a tabela mysql.general_logcomo uma tabela CSV.

    Em vez de reinventar a roda e digitar muito, leia minhas postagens anteriores:

    Uma vez mysql.general_logconvertido para MyISAM e as consultas gravadas, basta acessar o log como qualquer outra tabela MyISAM.

    Aqui está a estrutura da versão MyISAM demysql.general_log

    mysql> show create table mysql.general_log\G
*************************** 1. row ***************************
       Table: general_log
Create Table: CREATE TABLE `general_log` (
  `event_time` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP,
  `user_host` mediumtext NOT NULL,
  `thread_id` int(11) NOT NULL,
  `server_id` int(10) unsigned NOT NULL,
  `command_type` varchar(64) NOT NULL,
  `argument` mediumtext NOT NULL,
  KEY `event_time` (`event_time`)
) ENGINE=MyISAM DEFAULT CHARSET=latin1
1 row in set (0.00 sec)

    A partir daqui, basta escrever todo o conteúdo começando com uma consulta:

    SQLSTMT="SELECT argument FROM mysql.general_log"
SQLSTMT="${SQLSTMT} WHERE LEFT(argument,6) IN"
SQLSTMT="${SQLSTMT} ('INSERT','UPDATE','DELETE','SELECT')"
mysql -uroot -p -ANe"${SQLSTMT}" > SQLCommands.sql

    Ai está.

    De uma chance !!!

    • 5
  2. Best Answer

    Este é apenas um traço e não uma solução completa, "sua" solução é baseada em sua fantasia (e algum trabalho) ;)

    Eu fiz esse tipo de teste capturando e limpando a consulta gerada pelo log de consulta geral e usando o sysbench 0.5 depois de escrever meu próprio luaarquivo, você pode encontrar algumas amostras no código-fonte oficial , em um espelho do meu banco de dados (hw e schema/data -um instantâneo para que eu possa restaurar o status original dos dados imediatamente-).

    Então você pode executar um comando como este:

    ./sysbench --mysql-table-engine=myisam --mysql-db=<yourdb> --mysql-user=<user> --mysql-host=<host> --mysql-password=<pass> --test=tests/db/<yourlua>.lua --num-threads=8 --max-requests=8 run

    Colete e represente graficamente seus resultados, alterando simultaneidade e solicitações, e monitore seu banco de dados e o status de HW.

    Meu luaarquivo contém cerca de 80.000 consultas e é composto por inserir, atualizar e excluir

    ATUALIZAÇÃO #1

    Um bom ponto de partida que você pode tentar é começar (simplesmente) escrevendo seu luaarquivo assim:

    pathtest = string.match(test, "(.*/)") or ""

dofile(pathtest .. "common.lua")

function thread_init(thread_id)
   set_vars()

   if (db_driver == "mysql" and mysql_table_engine == "myisam") then
      -- begin_query = "LOCK TABLES ".. table_name .." WRITE"
      -- commit_query = "UNLOCK TABLES"
      begin_query = "SELECT 1>0"
      commit_query = "SELECT 1>0"
   else
      begin_query = "BEGIN"
      commit_query = "COMMIT"
   end
end

function event(thread_id)
    local table_name
    db_query(begin_query)
    rs = db_query("INSERT INTO .....")
    rs = db_query("INSERT INTO .....")
    rs = db_query("SELECT ... FROM ...")
    rs = db_query("DELETE ...")
    db_query(commit_query)
end

    Colocar sua consulta na db_query("")função, limpar seu log de consulta geral para esse tipo de processo requer um pouco de trabalho

    Aqui uma saída simples de um arquivo "pessoal" lua, como o acima, com 9 consultas, 7 inserts e 2 selects, +2 BEGIN/COMMIT:

    sysbench 0.5:  multi-threaded system evaluation benchmark

Running the test with following options:
Number of threads: 8
Random number generator seed is 0 and will be ignored


Threads started!

OLTP test statistics:
    queries performed:
        read:                            32
        write:                           56
        other:                           0
        total:                           88
    transactions:                        0      (0.00 per sec.)
    deadlocks:                           0      (0.00 per sec.)
    read/write requests:                 88     (7728.11 per sec.)
    other operations:                    0      (0.00 per sec.)

General statistics:
    total time:                          0.0114s
    total number of events:              8
    total time taken by event execution: 0.0252s
    response time:
         min:                                  2.87ms
         avg:                                  3.15ms
         max:                                  3.65ms
         approx.  95 percentile:               3.65ms

Threads fairness:
    events (avg/stddev):           1.0000/0.00
    execution time (avg/stddev):   0.0032/0.00

    Espero que isto ajude

    • 2

relate perguntas