Ofiris's questions

Eu importei dados para um novo banco de dados (cerca de 600 milhões de linhas de timestamp, integer, double). Eu então criei alguns índices e tentei alterar algumas colunas (tenho alguns problemas de falta de espaço), o banco de dados é aspirado.

Agora o pgAdmin III me diz que o " Tamanho dos arquivos temporários " é 50G~+.

1. O que são esses arquivos temporários? são como o log de transações do SQL Server?
2. Como posso me livrar deles, parece que o banco de dados é muito maior do que deveria (o tamanho total do banco de dados é de 91 GB)

Usando o Posgres 9.4.1 em um servidor Windows 2012.

Uma captura de tela da guia de estatísticas do banco de dados:

Eu tenho um aplicativo que usa uma tabela PostgreSQL. A tabela é muito grande (bilhões de linhas) e possui uma coluna que é um número inteiro.

O integerpode ter até 6 dígitos, ou seja, 0-999.999 , sem negativos.

Pensei em mudar para ser numeric(6,0).

Isso seria uma boa ideia? Levaria numeric(6,0)menos bytes? E quanto ao desempenho (esta tabela está sendo muito consultada)?

ALTER INDEX [myIndex] ON [dbo].[myTable] REORGANIZE WITH ( LOB_COMPACTION = ON )

Eu tenho a consulta acima em execução por 16 dias (ainda em execução), a tabela é uma tabela fictícia usada para testes de benchmark, tem mais de 10 bilhões de linhas. (Cerca de 1 TB de dados incluindo myIndex(não agrupados)).

Sei que há progresso, pois quando consulto a fragmentação, vejo o número diminuir.

Se eu cancelar/interromper a execução do ALTER INDEX, posso retomá-lo mais tarde com segurança ou causará um rollback?

Ele reverterá apenas a última página trocada ou toda a operação?

Estados MSDN :

ALTER ÍNDICE REORGANIZAR; no entanto, é necessário espaço de registro .

O modo de recuperação do banco de dados é Simples , isso implica que o espaço de log NÃO é realmente necessário?

Eu tenho uma tabela grande, cerca de 750 milhões de linhas.

Eu tenho um aplicativo usando Entity Frameworkpara carregar e analisar dados, uma consulta que retorna 2 milhões de linhas leva 4 segundos.

A mesma consulta exata leva 8 segundos usando SQL Server Management Studio.

Percebi que isso acontece com outras consultas (que retornam grandes conjuntos de dados). Ambas as conexões estão usando TCP/IP.

Ao incluir as estatísticas do cliente, vejo esta linha (não faço ideia do que isso significa):

Tempo de processamento do cliente 2539 2539.0000

Por que uma SSMSconsulta seria mais lenta?

Estou tentando analisar as consultas nesta tabela:

CREATE TABLE [dbo].[Values](
    [tid] [smallint] NOT NULL,
    [t] [datetime2](3) NOT NULL,
    [v] [real] NOT NULL,
 CONSTRAINT [PK_Values_Unique] PRIMARY KEY CLUSTERED 
(
    [t] ASC,
    [tid] ASC
)WITH (PAD_INDEX = OFF, STATISTICS_NORECOMPUTE = OFF, IGNORE_DUP_KEY = OFF, ALLOW_ROW_LOCKS = ON, ALLOW_PAGE_LOCKS = ON) ON [PRIMARY]
) ON [PRIMARY]

Estou revisando alguns planos de execução estimados usando o SQL Server Management Studio , primeira consulta .

SELECT *
FROM [dbo].[Values]
WHERE  [tid] = 1

A exibição do plano de execução estimado para esta consulta gera:

CREATE NONCLUSTERED INDEX [<Name of Missing Index, sysname,>]
ON [dbo].[Values] ([tid])
INCLUDE ([timestamp],[v])

Que, eu posso entender, quer dar uma olhada rápida por tid, embora eu não saiba exatamente por que isso INCLUDEé sugerido.

Então eu tentei uma segunda consulta (outro tid), que é praticamente o mesmo com outro tid:

SELECT *
FROM [dbo].[Values]
WHERE  [tid] = 1 or [tid] = 2

Mas agora, SSMS , não sugere o índice anterior.

Por que o SSMS sugere um INDEX para a primeira consulta, mas não para a segunda agora, embora sejam praticamente os mesmos?

Adicionar este ÍNDICE sugerido deve ser útil para ambos os tipos de consultas?

EDIT: Esta tabela tem mais de 2 * 10^9 linhas.

Sou um desenvolvedor de software que obteve dados no seguinte formato:

TABLE [dbo].[SensorValues](
    [timestamp] [datetime] NOT NULL,
    [Sensor1] [float] NULL,
    [Sensor2] [float] NULL,
    [Sensor3] [float] NULL
)

Gostaria de transformá-la em outra tabela, corresponde ao esquema que minha aplicação espera:

TABLE [dbo].[SensorValuesNormalized](
    [Id] [smallint] NOT NULL,
    [TimeStamp] [datetime2](3) NOT NULL,
    [Value] [real] NOT NULL
)

Id é o número da coluna na tabela original, a coluna X será transformada com X como id.

Posso usar C#/ Pythonpara examinar cada linha na tabela de origem e gerar linhas para Sensor1 , Sensor2 e Sensor3 .

Gostaria de saber se existe uma consulta SQL que posso usar para transformar dados da primeira tabela para a segunda, mantendo os dados?

por exemplo

[timestamp] [Sensor1] [Sensor2] [Sensor3]

2012-10-17 05:47:40.387 | 5.0 | 7.3 | NULL

Eu gostaria que a saída fosse:

[Id] [TimeStamp] [Value]

1    2012-10-17 05:47:40.387  5.0
2    2012-10-17 05:47:40.387  7.3

EDIT: Tenho mais de 200 sensores, timestamp é único na tabela original, e não único no destino.

Eu tenho várias tabelas com diferentes números de colunas, cada uma pode ser realou int, ambas not null(posso defini-las como reais, se necessário).

Eu gostaria de escrever uma consulta que insere uma linha com todos os zeros.

INSERT [TablesName] DEFAULT VALUESfunciona bem para colunas anuláveis.

Não posso usar INSERT INTO table1 (field1, field2) VALUES (0, 0.0);porque não sei o número de colunas.

Existe uma consulta que inseriria uma nova linha com valores padrão para tabelas não nulas?

Sou um programador, lidando com uma grande mesa cujo esquema é o seguinte:

UpdateTime, PK, datetime, notnull
Name, PK, char(14), notnull
TheData, float

Há um índice agrupado emName, UpdateTime

Eu queria saber o que deveria ser mais rápido:

SELECT MAX(UpdateTime)
FROM [MyTable]

ou

SELECT MAX([UpdateTime]) AS value
from
   (
    SELECT [UpdateTime]
    FROM [MyTable]
    group by [UpdateTime]
   ) as t

As inserções nesta tabela estão em blocos de 50.000 linhas com a mesma data . Então pensei que agrupar por poderia facilitar o MAXcálculo.

Em vez de tentar encontrar o máximo de 150.000 linhas, agrupar por até 3 linhas e o cálculo de MAXseria mais rápido? Minha suposição está correta ou agrupar por também é caro?

Estou utilizando SSMS(sou desenvolvedor de software, não DBA) e a cada lançamento de aplicativo preciso liberar o banco de dados com suas tabelas (algumas com dados outras apenas com esquema).

Eu tentei fazer 3 coisas ( SSMS):

1. Using Database --> Tasks -> Generate scripts... Isso é bom, para bancos de dados pequenos, quando os scripts têm mais de 200 MB, os usuários relatam problemas de memória, tanto durante a execução sqlcmd.exequanto de SSMS. Além disso, tenho que me lembrar de disparar scripts e nunca tenho certeza se os scripts geram um banco de dados idêntico.

2. Tentei usar a Back Upopção mas acho que essa opção serve para backup e não para exportação de dados, isso me impede de exportar apenas o esquema por exemplo. Os backups também mantêm históricos para restaurações diferenciais, o que não é minha intenção.

3. Eu tentei Script Database as... CREATE To... mas estes não mantêm gatilhos e dados. Além disso, esse script usa caminhos codificados para .mdf e .idf, que mudam de um servidor para outro.

Qual é a abordagem correta para replicar um banco de dados para outro servidor?

PS Sou novo neste site do Stack Exchange, li várias perguntas, mas não encontrei uma resposta depois de examinar várias perguntas.