All perguntas(dba)

Eu tentei todas as soluções na Internet, mas meu servidor MariaDb continua falhando, continua a me trair, continua a destruir meu pequeno mundo DevOps. Minhas tentativas de suavizar a situação incluíram todos os tipos de satisfação: alterar permissões, configurações, remover arquivos de log, atualizar / reinstalar, mover seus arquivos internos para cima e para baixo, remover outros DBMS, remover tudo, exceto ela, mas .... ela nunca foi resistindo tanto por tanto tempo. Minha última e única esperança para vocês iluminarem o caminho através de um momento tão crítico em nossos relacionamentos.

Estou usando o vagrant e o problema está na datadiropção - quando uso o caminho padrão tudo está ok, mas quando altero para a pasta compartilhada do vagrant a Maria nem inicia. Copiei todos os arquivos /var/lib/mysql para a nova pasta.

Eu tenho Windows host, Centos guest e minhas configurações são:

Versão MariaDB:

mysql  Ver 15.1 Distrib 10.1.17-MariaDB, for Linux (x86_64) using readline 5.1

Vagrantfile:

# -*- mode: ruby; -*-

ENV['VAGRANT_DEFAULT_PROVIDER'] = 'virtualbox'

Vagrant.configure("2") do |config|
  config.vm.box_url = "https://github.com/tommy-muehle/puppet-vagrant-boxes/releases/download/1.1.0/centos-7.0-x86_64.box"
  config.vm.box = "centos7"

  config.vm.network "private_network", ip: "10.0.1.10"

  config.vm.synced_folder "mysql", "/vagrant/mysql", owner: "mysql", group: "mysql"

  config.vm.provider :virtualbox do |vb|
    vb.customize ["modifyvm", :id, "--memory", "4096"]
    vb.customize ["modifyvm", :id, "--cpus", "4"]
    vb.customize ["modifyvm", :id, "--hwvirtex", "on"]
    vb.customize ["modifyvm", :id, "--audio", "none"]
    vb.customize ["modifyvm", :id, "--nictype1", "virtio"]
    vb.customize ["modifyvm", :id, "--nictype2", "virtio"]
  end
end

/etc/my.cnf.d/server.cnf:

[mysqld]
user=mysql
datadir=/vagrant/mysql
socket=/var/lib/mysql/mysql.sock
symbolic-links=0
default-storage-engine=innodb

tmpdir = /tmp

character-set-server = utf8
init-connect="SET NAMES utf8"

expire_logs_days=2
skip-external-locking

key_buffer_size = 32M
max_allowed_packet = 32M
table_open_cache = 8192
table_definition_cache = 8192
sort_buffer_size = 16M
net_buffer_length = 16K
read_buffer_size = 8M
read_rnd_buffer_size = 8M
thread_cache_size = 128
thread_concurrency = 16

query_cache_size = 1024M
query_cache_limit = 2M
join_buffer_size = 32M

max_connections = 1024
max_connect_errors = 1024

connect_timeout=5

innodb_file_per_table
innodb_buffer_pool_size=2048M
innodb_read_io_threads=8
innodb_write_io_threads=8
innodb_lock_wait_timeout=5
innodb_flush_log_at_trx_commit=2
innodb_flush_method=O_DSYNC
innodb_log_file_size=64M
innodb_log_buffer_size=32M
innodb_log_files_in_group=2
innodb_thread_concurrency=16
innodb_open_files = 1000
innodb_sync_spin_loops=100

skip-name-resolve

log-error=/var/log/mariadb/mysqld.log

Log de erros do MariaDb:

2016-09-30 22:32:46 139758293125248 [Note] InnoDB: Using mutexes to ref count buffer pool pages
2016-09-30 22:32:46 139758293125248 [Note] InnoDB: The InnoDB memory heap is disabled
2016-09-30 22:32:46 139758293125248 [Note] InnoDB: Mutexes and rw_locks use GCC atomic builtins
2016-09-30 22:32:46 139758293125248 [Note] InnoDB: GCC builtin __atomic_thread_fence() is used for memory barrier
2016-09-30 22:32:46 139758293125248 [Note] InnoDB: Compressed tables use zlib 1.2.7
2016-09-30 22:32:46 139758293125248 [Note] InnoDB: Using Linux native AIO
2016-09-30 22:32:46 139758293125248 [Note] InnoDB: Using SSE crc32 instructions
2016-09-30 22:32:46 139758293125248 [Note] InnoDB: Initializing buffer pool, size = 2.0G
2016-09-30 22:32:46 139758293125248 [Note] InnoDB: Completed initialization of buffer pool
2016-09-30 22:32:46 139758293125248 [Note] InnoDB: Highest supported file format is Barracuda.
2016-09-30 22:32:46 139758293125248 [Note] InnoDB: 128 rollback segment(s) are active.
2016-09-30 22:32:46 139758293125248 [Note] InnoDB: Waiting for purge to start
2016-09-30 22:32:46 139758293125248 [Note] InnoDB:  Percona XtraDB (http://www.percona.com) 5.6.31-77.0 started; log sequence number 1600799
2016-09-30 22:32:46 139754263774976 [Note] InnoDB: Dumping buffer pool(s) not yet started
2016-09-30 22:32:46 139758293125248 [Note] Plugin 'FEEDBACK' is disabled.
2016-09-30 22:32:46 139758293125248 [ERROR] Can't init tc log
2016-09-30 22:32:46 139758293125248 [ERROR] Aborting

Quando os valores das colunas computadas são determinados?

• Quando o valor é recuperado?
• Quando o valor é alterado?
• Em alguma outra hora?

Acho que essa é uma pergunta de iniciante, pois não estou encontrando nada em minhas pesquisas.

Nosso ambiente de produção congelou* esta manhã por um tempo ao alterar uma tabela, adicionando uma coluna na verdade.

SQL ofensivo:ALTER TABLE cliente ADD COLUMN topicos character varying(20)[];

* O login em nosso sistema requer uma seleção dessa mesma tabela, para que ninguém possa fazer login durante a alteração da tabela. Na verdade, tivemos que encerrar o processo para permitir que o sistema retomasse as operações normais.

Estrutura da tabela:

CREATE TABLE cliente
(
  rut character varying(30) NOT NULL,
  nombre character varying(150) NOT NULL,
  razon_social character varying(150) NOT NULL,
  direccion character varying(200) NOT NULL,
  comuna character varying(100) NOT NULL,
  ciudad character varying(100) NOT NULL,
  codigo_pais character varying(3) NOT NULL,
  activo boolean DEFAULT true,
  id serial NOT NULL,
  stock boolean DEFAULT false,
  vigente boolean DEFAULT true,
  clase integer DEFAULT 1,
  plan integer DEFAULT 1,
  plantilla character varying(15) DEFAULT 'WAYPOINT'::character varying,
  facturable integer DEFAULT 1,
  toolkit integer DEFAULT 0,
  propietario integer DEFAULT 0,
  creacion timestamp without time zone DEFAULT now(),
  codelco boolean NOT NULL DEFAULT false,
  familia integer DEFAULT 0,
  enabled_machines boolean DEFAULT false,
  enabled_canbus boolean DEFAULT false,
  enabled_horometro boolean DEFAULT false,
  enabled_comap boolean DEFAULT false,
  enabled_frio boolean DEFAULT false,
  enabled_panico boolean DEFAULT false,
  enabled_puerta boolean DEFAULT false,
  enabled_rpm boolean DEFAULT false,
  enabled_supervisor integer DEFAULT 0,
  demo boolean,
  interno boolean,
  mqtt_enable boolean NOT NULL DEFAULT false,
  topicos character varying(20)[],
  CONSTRAINT pk_cliente PRIMARY KEY (rut),
  CONSTRAINT fk_cliente_familiaid FOREIGN KEY (familia)
      REFERENCES cliente_familia (id) MATCH SIMPLE
      ON UPDATE NO ACTION ON DELETE NO ACTION,
  CONSTRAINT pk_pais FOREIGN KEY (codigo_pais)
      REFERENCES pais (codigo) MATCH SIMPLE
      ON UPDATE NO ACTION ON DELETE NO ACTION,
  CONSTRAINT unique_id_cliente UNIQUE (id)
)
WITH (
  OIDS=FALSE
);
ALTER TABLE cliente
  OWNER TO waypoint;
GRANT ALL ON TABLE cliente TO waypoint;
GRANT ALL ON TABLE cliente TO waypointtx;
GRANT SELECT, UPDATE, INSERT, DELETE ON TABLE cliente TO waypointtomcat;
GRANT SELECT ON TABLE cliente TO waypointphp;
GRANT SELECT ON TABLE cliente TO waypointpphppublic;
GRANT ALL ON TABLE cliente TO waypointsoporte;
GRANT SELECT, INSERT ON TABLE cliente TO waypointsalesforce;
GRANT SELECT ON TABLE cliente TO waypointadminuser;
GRANT SELECT ON TABLE cliente TO waypointagenda;
GRANT SELECT ON TABLE cliente TO waypointmachines;
GRANT SELECT ON TABLE cliente TO waypointreports;
GRANT SELECT ON TABLE cliente TO readonly;

CREATE INDEX index_cliente
  ON cliente
  USING btree
  (rut COLLATE pg_catalog."default");

CREATE INDEX index_cliente_activo
  ON cliente
  USING btree
  (activo);

CREATE INDEX index_cliente_id_activo
  ON cliente
  USING btree
  (id, activo);

CREATE INDEX index_cliente_rut_activo
  ON cliente
  USING btree
  (rut COLLATE pg_catalog."default", activo);


CREATE TRIGGER trigger_default_admin
  AFTER INSERT
  ON cliente
  FOR EACH ROW
  EXECUTE PROCEDURE crea_default_admin();

CREATE TRIGGER trigger_default_grupo
  AFTER INSERT
  ON cliente
  FOR EACH ROW
  EXECUTE PROCEDURE crea_default_clientegrupo();  

Devo desabilitar CONSTRAINTS, TRIGGERS ou algo mais?

Talvez algum DB Tuning?

O que mais devo fornecer para uma análise mais aprofundada?

Versão: PostgreSQL 9.4.5 em x86_64-unknown-linux-gnu, compilado por gcc (Debian 4.9.2-10) 4.9.2, 64 bits

Já trabalhei algumas vezes com scripts de pós-implantação e sempre usei intuitivamente a ação de compilação "PostDeploy", porque é isso que é. Agora, pela primeira vez, tento seguir as instruções internas do modelo do script para usar a ":r somescript.sql"sintaxe.

Imediatamente esta linha está sendo marcada como errada:

"Sintaxe SQL80001 incorreta ao lado de ':'"

Encontrei sugestões para definir o PDS para Build Action "none". Isso não ajuda, o erro permanece. O que estou perdendo aqui?

Estamos debatendo se devemos usar a opção SORT_IN_TEMPDB para nossas tabelas DW. Meu entendimento é que há mais gravações ao usar essa opção, embora sejam mais sequenciais. Temos uma SAN (que tem sido notoriamente lenta às vezes), portanto, em nosso caso, queremos limitar o número de gravações o máximo possível. Acredito que o tempdb esteja em um LUN separado (conjunto de discos).

Temos bastante espaço em disco em nosso arquivo de dados e em nosso arquivo tempdb. Nesse caso, nos beneficiaríamos do uso de SORT_IN_TEMPDB?

Uma coisa que me impressionou foi este comentário sobre esta resposta

Ao reconstruir um índice, você precisaria do dobro do espaço do índice + 20% para a classificação. Portanto, em geral, para reconstruir todos os índices em seu banco de dados, você precisa apenas de 120% do seu maior índice em seu banco de dados. Se você usar SORT_IN_TEMPDB, você ganha apenas 20%, ainda precisa de 100% adicionais em seu arquivo de dados. Além disso, usar sort em tempdb aumenta drasticamente sua carga de E/S, pois em vez de gravar o índice uma vez no arquivo de dados, agora você o grava uma vez no tempdb e depois o grava no arquivo de dados. Então isso nem sempre é o ideal.

Definitivamente, não queremos aumentar nossa carga de E/S com nossa SAN lenta/possivelmente mal configurada.

Qual seria a melhor maneira de testar isso? Simplesmente reconstruindo a tabela com e sem a opção e logando os tempos?

Edit : Temos 8 arquivos tempdb, cada um com 15 GB. Temos os sinalizadores TF 1117/1118 definidos e o IFI está ativado. Atualmente fazemos uma mistura de reconstrução com a opção sort_in_tempdb e sem ela.

Obrigado!

SQL Server 2012 Corporativo

Estou recebendo atrasos extremamente longos (10 ~ 30 segundos) no SQL Server Management Studio 2014 ao tentar se conectar a uma instância do SQL Server 2012 por TCP usando Windows Authentication . Isso acontece ao conectar o Pesquisador de Objetos ou uma nova janela de consulta em branco. Uma vez conectado, a execução de consultas é rápida. O problema não acontece quando eu me conecto usando a autenticação do SQL Server.

Meio Ambiente:

• Windows 7, logado como usuário de domínio
• Conexão TCP via endereço IP (não nome do host)
• O servidor está em um local remoto conectado via VPN
• Sem criptografia

Quando entrei no computador Windows 7 de um colega de trabalho com minha conta de domínio e me conectei ao mesmo SQL Server por meio da mesma VPN, não houve atraso. Quando o mesmo colega de trabalho fez login no meu PC com sua própria conta de domínio, ele experimentou o atraso. Esses testes mostram que o problema é exclusivo do meu PC. Além disso, o problema só aparece ao se conectar a esse SQL Server e VPN específicos; Posso me conectar a outros SQL Servers na rede local via Autenticação do Windows sem demora.

Coisas que tentei sem sucesso:

• Antivírus e firewall desativados
• Renomeamos a pasta "12.0" em "%userprofile%\AppData\Roaming\Microsoft\SQL Server Management Studio" para "_12.0" para forçar o SSMS a recriar minhas configurações de usuário.
• Force o protocolo de rede para TCP em vez de <default>. Eu também tentei pipes nomeados, mas meu servidor não está configurado para isso.
• Instalei o SSMS 2012 e tentei isso em vez de 2014.
• IPv6 desativado
• Blackhole crl.microsoft.com para 127.0.0.1 no meu arquivo etc\hosts.
• Desabilitou o Programa de Aperfeiçoamento da Experiência do Cliente no SSMS, Visual Studio e Windows.
• Desinstalei todos os aplicativos relacionados ao SQL Server do meu PC e reinstalei apenas em 2012.

Dicas do TCPView:

• Usando TCPView, notei que quando faço uma nova conexão, seu estado se torna ESTABLISHED imediatamente, mas uma ou duas conexões a mais com o SQL Server são tentadas continuamente e fechadas com TIME_WAIT . No computador do meu colega de trabalho, essas conexões são ESTABELECIDAS e sólidas. Portanto, tenho certeza de que essa é a fonte dos tempos limite, mas para que servem as conexões e por que elas falham? (Não tenho nenhum complemento no meu SSMS.)

Alguma ideia?

Atualização: Pista Intellisense/Autocomplete (?):

Percebi que quando finalmente me conecto, o Intellisense/Autocomplete não funciona. Eles exigem conexões separadas do SSMS? Tentei desativá-los e não pareceu resolver o longo atraso de conexão.

Estou tentando combinar vários intervalos de datas (minha carga é de cerca de 500 no máximo, na maioria dos casos 10) que podem ou não se sobrepor nos maiores intervalos de datas contíguos possíveis. Por exemplo:

Dados:

CREATE TABLE test (
  id SERIAL PRIMARY KEY NOT NULL,
  range DATERANGE
);

INSERT INTO test (range) VALUES 
  (DATERANGE('2015-01-01', '2015-01-05')),
  (DATERANGE('2015-01-01', '2015-01-03')),
  (DATERANGE('2015-01-03', '2015-01-06')),
  (DATERANGE('2015-01-07', '2015-01-09')),
  (DATERANGE('2015-01-08', '2015-01-09')),
  (DATERANGE('2015-01-12', NULL)),
  (DATERANGE('2015-01-10', '2015-01-12')),
  (DATERANGE('2015-01-10', '2015-01-12'));

A tabela se parece com:

 id |          range
----+-------------------------
  1 | [2015-01-01,2015-01-05)
  2 | [2015-01-01,2015-01-03)
  3 | [2015-01-03,2015-01-06)
  4 | [2015-01-07,2015-01-09)
  5 | [2015-01-08,2015-01-09)
  6 | [2015-01-12,)
  7 | [2015-01-10,2015-01-12)
  8 | [2015-01-10,2015-01-12)
(8 rows)

Resultados desejados:

         combined
--------------------------
 [2015-01-01, 2015-01-06)
 [2015-01-07, 2015-01-09)
 [2015-01-10, )

Representação visual:

1 | =====
2 | ===
3 |    ===
4 |        ==
5 |         =
6 |             =============>
7 |           ==
8 |           ==
--+---------------------------
  | ====== == ===============>

Considere uma tabela de valores e hashes, assim:

+------------+----------+------+-----+---------+----------------+
| Field      | Type     | Null | Key | Default | Extra          |
+------------+----------+------+-----+---------+----------------+
| id         | int(11)  | NO   | PRI | NULL    | auto_increment |
| val        | char(9)  | NO   |     | NULL    |                |
| val_hashed | char(50) | YES  |     | NULL    |                |
+------------+----------+------+-----+---------+----------------+

A consulta a seguir termina em 0,00 segundos:

SELECT * FROM hashes ORDER BY 1 DESC LIMIT 1;

No entanto, esta consulta leva 3 minutos e 17 segundos:

SELECT val FROM hashes ORDER BY 1 DESC LIMIT 1;

Vejo que, enquanto a consulta está sendo executada, a lista de processos mostra como status Sorting result. A situação é completamente reproduzível. Observe que há outro processo realizando INSERToperações na tabela continuamente.

Por que a consulta mais específica levaria mais tempo para ser executada do que a *consulta? Sempre acreditei que *as consultas devem ser evitadas especificamente por motivos de desempenho.

Alguém pode me ajudar a encontrar os detalhes abaixo fornecidos para consulta de longa duração. ProcessID, nome do processo, banco de dados, host, usuário, hora de login do processo, hora de início da consulta e duração da consulta.

Estou procurando uma consulta ou um SP que me forneça esses dados.

Eu vi no thread do SQL Server Central Um backup completo trunca o log? esse backup completo não trunca o log:

Não. Nem os backups completos nem os diferenciais truncam o log de transações. - Lynn Pettis
Não - um backup completo não trunca o log. - Chad Crawford

Então, qual é a diferença entre backup completo e backup completo somente cópia?

Para o backup de log, há um backup somente de cópia que evita que a cadeia de logs seja interrompida sem truncar o log. Então, o que é backup completo somente cópia?