newbie14's questions

Nosso esquema fica assim:

• tabela tblTrip: armazena data e hora de início e fim da viagem
• tabela tblTripData: mantém todos os dados da viagem
• tabela tblTripEvent: armazena os eventos relacionados à viagem em particular.

Então temos mais duas tabelas, tblTripEmaile tblTripSms, que armazenam o e-mail e SMS que foram enviados de acordo com os eventos.

Queremos manter apenas os dados de viagem de 3 meses, gostaríamos de, de tempos em tempos, excluir e arquivar o restante para ser armazenado no banco de dados off-line.

Qual é o melhor mecanismo para armazenar em um banco de dados offline? Não tenho certeza de como o particionamento seria útil porque as tabelas estão vinculadas umas às outras aqui.

Abaixo está a tabela desc para tblTripData

CREATE TABLE IF NOT EXISTS `tblTripData` (
  `tripDataID` int(11) NOT NULL AUTO_INCREMENT,
  `tripID` int(5) NOT NULL,  
  `deviceSerialNumber` varchar(20) NOT NULL,
  `latitude` double NOT NULL,
  `longitude` double NOT NULL,
  `speed` float NOT NULL,
  `course` int(3) NOT NULL,
  `gpsdateTimer` datetime NOT NULL, 
  `insertDateTime` datetime NOT NULL,
  `odoMeter` float NOT NULL DEFAULT '0',
  `driverID` int(5) NOT NULL, 
  `eventAlertID` int(11) NOT NULL DEFAULT '0',
  `tripDataInsertDateTime` datetime NOT NULL  
  PRIMARY KEY (`tripDataID`),
  KEY `dateTime` (`gpsdateTimer`),
  KEY `tripID` (`tripID`),  
  KEY `eventAlertID` (`eventAlertID`)
) ENGINE=InnoDB DEFAULT CHARSET=latin1 AUTO_INCREMENT=1 ;

Continuo adicionando partição base diária para uma tabela como, por exemplo

ALTER TABLE tblData PARTITION BY RANGE (to_days(`dataInsertDateTime`)) (
PARTITION p20 VALUES LESS THAN (to_days('2012-12-25')),
PARTITION p21 VALUES LESS THAN (to_days('2012-12-26')),
PARTITION p22 VALUES LESS THAN (to_days('2012-12-27')),
PARTITION p23 VALUES LESS THAN (to_days('2012-12-28')),
PARTITION p24 VALUES LESS THAN (to_days('2012-12-29'))
)

Quando executo este show create table tblData, apenas me mostra a partição p20 a p24. Estou me perguntando onde está todo o meu p0-p19 anterior? É dissolvido sempre que executo a tabela alter para adicionar partições?

Temos servidores mestre e de replicação do MySQL, ambos rodando em máquinas diferentes. Notamos alguns arquivos de sistema mostrando problemas de integridade na máquina mestre. Temporariamente, gostaríamos de transformar o escravo em mestre e reformatar o mestre original e depois trazer tudo de volta à arquitetura original.

Quais são as etapas cruciais agora para mantermos a integridade dos dados?

Podemos desativar o mestre e permitir que as inserções e atualizações ocorram no banco de dados de replicação, mas como voltaremos à situação original posteriormente?

Eu tenho um script que seleciona e insere fortemente quase todos os segundos sem falhar e o total de consultas varia de um segundo para outro. Abaixo estão os resultados da execução das consultas e, finalmente, está o erro abaixo de Comandos fora de sincronia; você não pode executar este comando agora ou às vezes me dá perda de conexão.

Query 2 after executing INSERT INTO  export1 (iBTID ,timeStampID ,ipSource ,macSource,portSource,totalBits, packetCount) VALUES (NULL,'2012-07-16 23:51:45','10.207.160.116','00:14:5E:95:B9:18','53',995,7)
Query 2 after executing INSERT INTO  export1 (iBTID ,timeStampID ,ipSource ,macSource,portSource,totalBits, packetCount) VALUES (NULL,'2012-07-16 23:51:45','10.207.160.172','90:F6:52:20:15:E8','2049',5599,16)
Query 2 after executing INSERT INTO  export1 (iBTID ,timeStampID ,ipSource ,macSource,portSource,totalBits, packetCount) VALUES (NULL,'2012-07-16 23:51:45','10.207.160.222','00:0C:29:EE:DE:BC','0',60,1)
Query 2 after executing INSERT INTO  export1 (iBTID ,timeStampID ,ipSource ,macSource,portSource,totalBits, packetCount) VALUES (NULL,'2012-07-16 23:51:45','10.207.160.235','00:1E:90:3B:92:AA','17500',408,2)
Query 2 after executing INSERT INTO  export1 (iBTID ,timeStampID ,ipSource ,macSource,portSource,totalBits, packetCount) VALUES (NULL,'2012-07-16 23:51:45','10.207.160.24','00:30:1E:F2:5F:B8','0',60,1)
Query 2 after executing INSERT INTO  export1 (iBTID ,timeStampID ,ipSource ,macSource,portSource,totalBits, packetCount) VALUES (NULL,'2012-07-16 23:51:45','10.207.160.250','00:1E:68:5C:CF:93','32767',175,1)
Query 2 after executing INSERT INTO  export1 (iBTID ,timeStampID ,ipSource ,macSource,portSource,totalBits, packetCount) VALUES (NULL,'2012-07-16 23:51:45','10.207.160.43','20:CF:30:5E:0B:41','137',359,3)
Query 2 after executing INSERT INTO  export1 (iBTID ,timeStampID ,ipSource ,macSource,portSource,totalBits, packetCount) VALUES (NULL,'2012-07-16 23:51:45','10.207.160.52','00:1E:0B:85:B0:B1','22',10963,40)
Query 2 after executing INSERT INTO  export1 (iBTID ,timeStampID ,ipSource ,macSource,portSource,totalBits, packetCount) VALUES (NULL,'2012-07-16 23:51:45','10.207.160.57','00:24:E8:79:BD:3B','5060',561,1)
Query 2 after executing INSERT INTO  export1 (iBTID ,timeStampID ,ipSource ,macSource,portSource,totalBits, packetCount) VALUES (NULL,'2012-07-16 23:51:45','10.207.160.65','00:1A:64:21:D6:B4','0',60,1)
Query 2 after executing INSERT INTO  export1 (iBTID ,timeStampID ,ipSource ,macSource,portSource,totalBits, packetCount) VALUES (NULL,'2012-07-16 23:51:45','10.207.160.9','00:09:0F:EF:DA:31','0',60,1)
Query 2 after executing INSERT INTO  export1 (iBTID ,timeStampID ,ipSource ,macSource,portSource,totalBits, packetCount) VALUES (NULL,'2012-07-16 23:51:45','10.207.161.115','00:00:1C:DC:22:45','17500',408,2)
Query 2 after executing INSERT INTO  export1 (iBTID ,timeStampID ,ipSource ,macSource,portSource,totalBits, packetCount) VALUES (NULL,'2012-07-16 23:51:45','10.207.161.137','D8:30:62:63:65:40','0',60,1)
Query 2 after executing INSERT INTO  export1 (iBTID ,timeStampID ,ipSource ,macSource,portSource,totalBits, packetCount) VALUES (NULL,'2012-07-16 23:51:45','10.207.161.16','00:1E:90:3B:8F:6C','137',92,1)
Query 2 after executing INSERT INTO  export1 (iBTID ,timeStampID ,ipSource ,macSource,portSource,totalBits, packetCount) VALUES (NULL,'2012-07-16 23:51:45','10.207.161.212','48:5D:60:00:DE:C0','137',359,3)
Query 2 after executing INSERT INTO  export1 (iBTID ,timeStampID ,ipSource ,macSource,portSource,totalBits, packetCount) VALUES (NULL,'2012-07-16 23:51:45','10.207.161.233','00:25:64:CB:92:5C','17500',604,4)
Query 2 after executing INSERT INTO  export1 (iBTID ,timeStampID ,ipSource ,macSource,portSource,totalBits, packetCount) VALUES (NULL,'2012-07-16 23:51:45','10.207.161.234','00:0C:29:34:8E:FF','137',92,1)
Query 2 after executing INSERT INTO  export1 (iBTID ,timeStampID ,ipSource ,macSource,portSource,totalBits, packetCount) VALUES (NULL,'2012-07-16 23:51:45','10.207.161.3','00:D0:4C:D0:13:B8','32767',1524,19)

Time is 2012-07-16 23:51:46Query 2 after executing INSERT INTO  export1 (iBTID ,timeStampID ,ipSource ,macSource,portSource,totalBits, packetCount) VALUES (NULL,'2012-07-16 23:51:45','169.254.122.188','00:19:21:3B:F4:17','32767',175,1)
Query 2 after executing INSERT INTO  export1 (iBTID ,timeStampID ,ipSource ,macSource,portSource,totalBits, packetCount) VALUES (NULL,'2012-07-16 23:51:45','203.91.121.76','00:60:E0:44:E4:B2','32767',1062,9)
Error in second query of insert Commands out of sync; you can't run this command now

Temos uma tabela principal chamada tblLink nela terá um campo de data. O tblLink terá sua chave primária como estrangeira em algumas outras tabelas também e uma das tabelas tblMainData que com o tempo ficará em milhões de linhas. Portanto, gostaríamos de manter apenas 3 meses de dados. O resto gostaríamos de limpar e mantê-lo para gerar relatórios de histórico. O problema em todo o Google apenas fala sobre uma única partição de tabela, mas nunca falou sobre partição de várias tabelas. Então, como resolver meu problema abaixo estão a tabela de criação e as consultas de amostra também.

Some of the queries. 
Query 1 

SELECT DISTINCT tblLocationFrom.geoFenceName As locationFrom, tblLocationTo.geoFenceName As locationTo, 
tblLink.linkID,CAST(Date_Add(tblLink.dateTimeStartJourney, Interval '".$gmtValue."' hour_minute) AS CHAR) As dateTimeStartJourney,  
CAST(Date_Add(tblLink.dateTimeEndJourney, Interval '".$gmtValue."' hour_minute) AS CHAR) As dateTimeEndJourney1,CAST(Date_Add(CAST(Date_Add(tblLink.dateTimeEnd, Interval '-08:00' hour_minute) AS CHAR) , Interval '".$gmtValue."' hour_minute) AS CHAR) As dateTimeEndJourney2, 
FROM tblLink 
JOIN tblGeoFence AS tblLocationFrom ON tblLink.locationFromID = tblLocationFrom.geoFenceID 
JOIN tblGeoFence AS tblLocationTo ON tblLink.locationToID = tblLocationTo.geoFenceID 
WHERE (dateTimeStartJourney between '".$b. "' And '".$e."' And tblLink.compID=$cID 

Query 2 

SELECT tblGeoFence.geoFenceName,     CAST(Date_Add(tblEventAlert.eventAlertDateTime , Interval '".$gmtValue."' hour_minute) AS CHAR) As eventAlertDateTime 
FROM tblEventAlert 
LEFT JOIN tblGeoFence ON tblEventAlert.geoFenceID=tblGeoFence.geoFenceID 
WHERE tblEventAlert.link=".$lID." Order By tblEventAlert.eventAlertDateTime Asc"; 

Create table statements. 

CREATE TABLE IF NOT EXISTS `tblLink` ( 
`linkID` int(5) NOT NULL, 
`compID` int(5) NOT NULL, 
`vehicleID` int(5) NOT NULL, 
`deviceID` int(5) NOT NULL, 
`locationFromID` int(5) NOT NULL, 
`locationToID` int(5) NOT NULL, 
`employeeIDInsert` int(5) NOT NULL, 
`dateTimeInsert` datetime NOT NULL, 
`dateTimeStartJourney` datetime NOT NULL, 
`dateTimeEnd` datetime NOT NULL DEFAULT '0000-00-00 00:00:00', 
`dateTimeEndJourney` datetime NOT NULL DEFAULT '0000-00-00 00:00:00', 
`linkStatus` enum('a','d','e','m') NOT NULL, 
PRIMARY KEY (`linkID`) 
) ENGINE=InnoDB DEFAULT CHARSET=latin1; 


CREATE TABLE IF NOT EXISTS `tblEmailLog` ( 
`emailLogID` int(11) NOT NULL AUTO_INCREMENT, 
`compID` smallint(6) NOT NULL, 
`linkID` int(11) NOT NULL DEFAULT '0', 
`userID` smallint(6) NOT NULL, 
`alertCodeID` tinyint(4) NOT NULL, 
`eventAlertID` int(11) NOT NULL, 
`userEmail` varchar(100) NOT NULL, 
`alertDateTime` datetime NOT NULL, 
`alertInsertDateTime` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP, 
PRIMARY KEY (`emailLogID`) 
) ENGINE=InnoDB DEFAULT CHARSET=latin1 AUTO_INCREMENT=1 ; 


CREATE TABLE IF NOT EXISTS `tblEventAlert` ( 
`eventAlertID` int(11) NOT NULL AUTO_INCREMENT, 
`compID` int(5) NOT NULL, 
`linkID` int(11) NOT NULL DEFAULT '0', 
`mainDataID` int(5) NOT NULL, 
`vehicleID` int(5) NOT NULL, 
`geoFenceID` int(5) NOT NULL, 
`eventAlertDateTime` datetime NOT NULL, 
`eventAlertSentEmail` varchar(50) DEFAULT NULL, 
`eventAlertMessage` varchar(255) NOT NULL, 
PRIMARY KEY (`eventAlertID`) 
) ENGINE=InnoDB DEFAULT CHARSET=latin1 AUTO_INCREMENT=1 ; 



CREATE TABLE IF NOT EXISTS `tblMainData` ( 
`mainDataID` int(11) NOT NULL AUTO_INCREMENT, 
`linkID` int(5) NOT NULL, 
`header` varchar(3) NOT NULL, 
`deviceSerialNumber` varchar(20) NOT NULL, 
`latitude` double NOT NULL, 
`longitude` double NOT NULL, 
`speed` float NOT NULL, 
`course` int(3) NOT NULL, 
`dateTimer` datetime NOT NULL, 
`gpsDateTime` datetime NOT NULL, 
`insertDateTime` datetime NOT NULL, 
`odoMeter` float NOT NULL DEFAULT '0', 
`driverID` int(5) NOT NULL, 
`eventAlertID` int(11) NOT NULL DEFAULT '0', 
`mainDataInsertDateTime` datetime NOT NULL, 
`gpsString` varchar(450) NOT NULL, 
PRIMARY KEY (`mainDataID`), 
KEY `dateTime` (`dateTimer`), 
KEY `linkID` (`linkID`), 
KEY `eventAlertID` (`eventAlertID`) 
) ENGINE=InnoDB DEFAULT CHARSET=latin1 AUTO_INCREMENT=1 ; 


CREATE TABLE IF NOT EXISTS `tblSubData` ( 
`subDataID` int(11) NOT NULL AUTO_INCREMENT, 
`mainDataID` int(11) NOT NULL, 
`linkID` int(11) NOT NULL, 
`eventAlertID` int(11) NOT NULL, 
`deviceSerialNumber` varchar(20) NOT NULL, 
`subdeviceSerialNumber` varchar(20) NOT NULL, 
`dateTimer` datetime NOT NULL, 
`eventType` varchar(2) NOT NULL 
PRIMARY KEY (`subDataID`), 
KEY `mainDataID` (`mainDataID`), 
KEY `linkID` (`linkID`), 
KEY `eventAlertID` (`eventAlertID`) 
) ENGINE=InnoDB DEFAULT CHARSET=latin1 AUTO_INCREMENT=1 ;

Nossa tabela principal, tblLink, terá sua chave primária como estrangeira em algumas outras tabelas também e uma das tabelas será tblMainDataque ao longo do tempo terá milhões de linhas.

Gostaríamos de manter apenas 3 meses de dados.

O resto gostaríamos de limpar e manter para gerar relatórios de histórico. Qual é o melhor mecanismo a ser usado nesse cenário?

Devemos executar uma tarefa cron para continuar excluindo dados com mais de 3 meses? Em caso afirmativo, como podemos armazená-lo em um .sqlarquivo?

Eu tenho uma configuração de replicação Master-Slave e parece que está funcionando bem. Abaixo está um resultado do SHOW SLAVE STATUScomando:

show slave STATUS\G;
*************************** 1. row ***************************
               Slave_IO_State: Waiting for master to send event
                  Master_Host: *.*.*.*
                  Master_User: repliV1
                  Master_Port: 3306
                Connect_Retry: 60
              Master_Log_File: mysql-bin.000001
          Read_Master_Log_Pos: 10726644
               Relay_Log_File: mysqld-relay-bin.000056
                Relay_Log_Pos: 231871
        Relay_Master_Log_File: mysql-bin.000001
             Slave_IO_Running: Yes
            Slave_SQL_Running: Yes
              Replicate_Do_DB: data1
          Replicate_Ignore_DB:
           Replicate_Do_Table:
       Replicate_Ignore_Table:
      Replicate_Wild_Do_Table:
  Replicate_Wild_Ignore_Table:
                   Last_Errno: 0
                   Last_Error:
                 Skip_Counter: 0
          Exec_Master_Log_Pos: 10726644
              Relay_Log_Space: 232172
              Until_Condition: None
               Until_Log_File:
                Until_Log_Pos: 0
           Master_SSL_Allowed: No
           Master_SSL_CA_File:
           Master_SSL_CA_Path:
              Master_SSL_Cert:
            Master_SSL_Cipher:
               Master_SSL_Key:
        Seconds_Behind_Master: 0
Master_SSL_Verify_Server_Cert: No
                Last_IO_Errno: 0
                Last_IO_Error:
               Last_SQL_Errno: 0
               Last_SQL_Error:

Eu gostaria de entender mais sobre o Relay_Log_File, Relay_Log_Pose Relay_Master_Log_File.

Minhas perguntas são:

• É verdade que o arquivo de log de retransmissão é aquele que está sendo lido e armazenado localmente para que a replicação seja executada?

• E o relay_master_log_fileentão; como é diferente do Master_Log_File?

• Quais são esses dois valores, viz. , Read_Master_Log_Pose Relay_Log_Pos? Por que eles estão aparecendo mesmo que a replicação esteja completa e sincronizada?

• É verdade que esses arquivos estão em formato binário e, portanto, não posso visualizá-los?

Gostaria de saber onde vai meu erro logado para o servidor mysql. A partir de agora, vejo apenas um log que está em /var/log/mysqld.log. Eu vi alguns arquivos .err também estou perdendo alguma coisa aqui? O que o ib_logfile conteria, eles também conteriam esses erros? Mas não podemos vê-los, certo?

Eu tenho uma nova configuração do centos 6.2. Abaixo está o arquivo de configuração. A máquina vai ser totalmente innodb e tinha 8Gb de ram. O que mais devo incluir no .cnf?

[mysqld]
datadir=/var/lib/mysql
socket=/var/lib/mysql/mysql.sock
user=mysql
# Disabling symbolic-links is recommended to prevent assorted security risks
symbolic-links=0

[mysqld_safe]
log-error=/var/log/mysqld.log
pid-file=/var/run/mysqld/mysqld.pid

Estamos mudando agora de MyISAM para InnoDB. Já enfrentamos problemas anteriores no MyISAM onde o índice falha e a tabela não está disponível para acesso. Portanto, estamos nos perguntando que tipo de erros o InnoDB pode mostrar porque queremos manter totalmente a integridade de nossos dados.

Abaixo está o arquivo .cnf.

[mysqld]
datadir=/var/lib/mysql
socket=/var/lib/mysql/mysql.sock
user=mysql
# Disabling symbolic-links is recommended to prevent assorted security risks
symbolic-links=0
innodb_file_per_table

server-id=9508071
log-bin=mysql-bin
log-error=mysql-bin.err
binlog_do_db=datacv


[mysqld_safe]
log-error=/var/log/mysqld.log
pid-file=/var/run/mysqld/mysqld.pid

Eu consegui configurar a replicação master e slave .

Está funcionando bem. Quais são as possibilidades de cair?

Existe alguma ferramenta de alerta para monitorar isso?

Outra coisa: posso executar um banco de dados separado em meu banco de dados de replicação, que apenas executo para fins de teste?

Estou usando a plataforma linux. Eu também despejo os dados em um arquivo e restauro em um servidor e executei este comando

[root@localhost /]# mysqldump -u root -p fms  < /device.sql

A parte engraçada é que ele continua em execução e esse despejo consiste apenas em dados da tabela e vejo outros dados da tabela sendo executados quando executo este comando de onde vêm os outros dados da tabela?

Eu tenho um novo centos 6.2 com mysql em 5.1.52. Então eu vi dois nomes de usuário vazios e os apaguei, então vi 3 usuários root deletados e criei um assim CREATE USER 'root'@'%' IDENTIFIED BY ' ** ';. Mas quando entro como root no meu phpMyAdmin agora não consigo criar um novo banco de dados. O que eu fiz de errado aqui?

Temos um aplicativo em que apenas uma tabela crescerá em milhões de linhas, mas o restante ficará um pouco abaixo de um milhão. Então, qual é o conselho que devemos usar innodb_file_per_table ou deixar apenas um .ibd? Eu li alguns artigos dizendo para não ir com isso, pois você precisa de mais acesso ao disco quando houver junções a serem executadas? Teremos junção entre esta tabela e outras para fins de geração de relatórios.

O raid 5 é adequado para uma instalação do mysql?

Deixe-me explicar melhor a minha aplicação. Meu aplicativo é uma programação de soquete que se conectará ao dispositivo gps para receber a string gps e depois fará um processamento adicional. A programação do socket será em outro servidor e db em outro servidor. Portanto, durante o processamento posterior, é onde ele consultará o banco de dados. Então aqui eu acho que haverá muitos ritos de i/o. No mínimo, durante o processamento adicional, haverá um mínimo de 5 seleções e a inserção será no mínimo 1, mas às vezes pode ser no mínimo 4 ou mais e também várias atualizações. Espero ter sido mais claro agora.