Início / dba / Perguntas / 28416
Accepted
Katafalkas
Asked: 2012-11-09 23:54:15 +0800 CST

Redirecionando erros do MySQL e logs lentos para outro banco de dados

  • 772

Estou executando vários servidores MySQL como escravos e mestres. É muito chato procurar logs lentos e erros em todos os servidores, então gostaria de registrar todos os erros em um banco de dados externo.

    DB1    DB2    DBn ...
      \      |      /
       \     |     /          <-- error logs and slow logs
        \    |    /
[MySQL error & slow log database]

Existe alguma maneira simples de fazer isso?
Ou eu preciso escrever alguns scripts e outras coisas?

PS Espero que você aprecie minhas excelentes habilidades de diagramação ASCII

mysql logs

2 respostas

  1. Best Answer

    Você já pensou em converter o log lento em uma tabela MyISAM?

    Quanto ao MySQL 5.1.30, você pode escolher o formato do log lento e do log geral como TABLE ou FILE por meio da opção log_output . Também está disponível no MySQL 5.5 .

    Para suportar a opção TABLE para log_output, o MySQL forneceu duas tabelas:

    • mysql.slow_log
    • mysql.general_log

    Por causa desta questão, vou discutir apenasmysql.slow_log

    Por padrão, isso é mysql.slow_log:

    mysql> show create table mysql.slow_log\G
*************************** 1. row ***************************
       Table: slow_log
Create Table: CREATE TABLE `slow_log` (
  `start_time` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP,
  `user_host` mediumtext NOT NULL,
  `query_time` time NOT NULL,
  `lock_time` time NOT NULL,
  `rows_sent` int(11) NOT NULL,
  `rows_examined` int(11) NOT NULL,
  `db` varchar(512) NOT NULL,
  `last_insert_id` int(11) NOT NULL,
  `insert_id` int(11) NOT NULL,
  `server_id` int(10) unsigned NOT NULL,
  `sql_text` mediumtext NOT NULL
) ENGINE=CSV DEFAULT CHARSET=utf8 COMMENT='Slow log'
1 row in set (0.10 sec)

mysql>

    A tabela slow_log usa o mecanismo de armazenamento CSV. Observe que uma tabela CSV não pode ser indexada. Isso não é muito útil para fazer análises por data e hora. BOAS NOTÍCIAS: Você pode convertê-lo em uma tabela MyISAM.

    Para facilitar um log lento baseado em MyISAM, faça o seguinte:

    Step01) Transforme mysql.slow_log em uma tabela MyISAM

    ALTER TABLE mysql.slow_log ENGINE-MyISAM;

    Step02) Indexar a coluna de carimbo de data/hora chamadastart_time

    ALTER TABLE mysql.slow_log ADD INDEX (start_time);

    Step03) Adicione as seguintes linhas ao my.cnf (ou my.ini)

    [mysqld]
slow-query-log
log-output=TABLE

    Passo 04) Reinicie o MySQL

    Para Linux

    service mysql restart

    ou para Windows

    net stop mysql
net start mysql

    Step05) Execute o seguinte comando no MySQL

    mysql> SHOW VARIABLES LIKE 'long_query_time';

    Por padrão , long_query_time é 10 segundos

    Step06) Execute este comando

    mysql> SELECT SLEEP(15);

    Se long_query_time for 10 segundos, este SELECT deve ser colocado deliberadamente em mysql.slow_log.

    Step07) Execute este comando

    mysql> SELECT sql_text FROM mysql.slow_log;

    Se você vir alguma linha na tabela com o SELECT SLEEP(15);, PARABÉNS!!!

    Agora você pode executar consultas SELECT mysql.slow_logpara copiar algumas ou todas as linhas para outras tabelas ou outros bancos de dados.

    Eu postei respostas anteriores em conjunto com este assunto:

    ATUALIZAÇÃO 2012-11-12 17:00 EDT

    Com toda a justiça, a pergunta perguntou sobre logs de erro. Eu não incluí explicitamente nada sobre isso. Vou incluir algum código que aborda como

    Digamos que o log de erros seja definido em qualquer servidor de banco de dados da seguinte maneira:

    [mysqld]
log-error=/var/log/mysqld.log

    Você poderia criar um script assim:

    ERROR_LOG=/var/log/mysqld.log
LOG_LINES=/tmp/general-log-lines.txt
ERROR_FOLDER=<folder where to copy logs>
ERROR_TARGET=${ERROR_FOLDER}/`hostname`-DB-Errors.txt
NEWCOUNT=`wc -l < ${ERROR_LOG}`
if [ -f ${LOG_LINES} ]
then
    OLDCOUNT=`cat ${LOG_LINES} | awk '{print $1}'`
    if [ ${OLDCOUNT} -lt ${NEWCOUNT} ]
    then
        (( DIFF = NEWCOUNT - OLDCOUNT ))
        tail -${DIFF} < ${ERROR_LOG} >> ${ERROR_TARGET}
        echo ${NEWCOUNT} > ${LOG_LINES}
    fi
fi

    ou se você deseja coletar e redefinir o log de erros sem uma reinicialização do mysql (somente Linux), você pode usar isso (essa técnica nunca pode ser feita no Windows porque o sistema operacional Windows bloqueia o arquivo de log de erros da gravação externa):

    ERROR_LOG=/var/log/mysqld.log
LOG_LINES=/tmp/general-log-lines.txt
ERROR_FOLDER=<folder where to copy logs>
ERROR_TARGET=${ERROR_FOLDER}/`hostname`-DB-Errors.txt
NEWCOUNT=`wc -l < ${ERROR_LOG}`
if [ -f ${LOG_LINES} ]
then
    OLDCOUNT=`cat ${LOG_LINES} | awk '{print $1}'`
    if [ ${OLDCOUNT} -lt ${NEWCOUNT} ]
    then
        (( DIFF = NEWCOUNT - OLDCOUNT ))
        tail -${DIFF} < ${ERROR_LOG} >> ${ERROR_TARGET}
        echo -n > ${ERROR_LOG}
        echo 0 > ${LOG_LINES}
    fi
fi

    Coloque este script em cada servidor de banco de dados. Configure um crontab para este script disparar a cada 5 minutos. Certifique -se de que ERROR_FOLDERestá definido para uma pasta compartilhada comum.

    ATUALIZAÇÃO 2012-11-12 17:24 EDT

    Para esclarecimento, executar o MySQL FLUSH LOGS;é insuficiente porque...

    • Para todos os logs baseados em texto, FLUSH LOGS;fecha e reabre. Nenhuma rotação é fornecida pelo mysqld
    • Para logs binários, FLUSH LOGS;será...
      • Fechar log binário atual
      • Girar para um novo log binário
      • Abrir novo log binário
    • Para MySQL 5.5, FLUSH ERROR LOGS;fecha e reabre o log de erros. Nenhuma rotação é fornecida

    É por isso que alguns scripts são necessários

    • 3

  2. Os logs lentos são apenas arquivos de texto, então não há como o MySQL lidar com eles.

    O processo geral é mover/renomear os arquivos e então fazer um MySQL FLUSH, que dirá ao MySQL para iniciar um novo arquivo de log.

    Em seguida, pegue o arquivo movido/renomeado e envie-o para o seu servidor de log. Parece que um simples script bash funcionaria.

    Espero que ajude.

    • -1

relate perguntas