AskOverflow.Dev

AskOverflow.Dev Logo AskOverflow.Dev Logo

AskOverflow.Dev Navigation

  • Início
  • system&network
  • Ubuntu
  • Unix
  • DBA
  • Computer
  • Coding
  • LangChain

Mobile menu

Close
  • Início
  • system&network
    • Recentes
    • Highest score
    • tags
  • Ubuntu
    • Recentes
    • Highest score
    • tags
  • Unix
    • Recentes
    • tags
  • DBA
    • Recentes
    • tags
  • Computer
    • Recentes
    • tags
  • Coding
    • Recentes
    • tags
Início / dba / Perguntas / 12256
Accepted
GSerg
GSerg
Asked: 2012-02-05 07:49:24 +0800 CST2012-02-05 07:49:24 +0800 CST 2012-02-05 07:49:24 +0800 CST

Adicionar SPARSE tornou a tabela muito maior

  • 772

Eu tenho uma tabela de log genérica, com cerca de 5m de linhas.
Há um campo de "digitação forte" que armazena o tipo de evento e várias colunas de "digitação imprecisa" que contêm dados relevantes para o evento. Ou seja, o significado dessas colunas "digitadas imprecisamente" depende do tipo de evento.

Essas colunas são definidas como:

USER_CHAR1 nvarchar(150) null,
USER_CHAR2 nvarchar(150) null,
USER_CHAR3 nvarchar(150) null,
USER_CHAR4 nvarchar(150) null,
USER_CHAR5 nvarchar(150) null,

USER_INTEGER1 int null,
USER_INTEGER2 int null,
USER_INTEGER3 int null,
USER_INTEGER4 int null,
USER_INTEGER5 int null,

USER_FLAG1 bit null,
USER_FLAG2 bit null,
USER_FLAG3 bit null,
USER_FLAG4 bit null,
USER_FLAG5 bit null,

USER_FLOAT1 float null,
USER_FLOAT2 float null,
USER_FLOAT3 float null,
USER_FLOAT4 float null,
USER_FLOAT5 float null

As colunas 1 e 2 em cada tipo são muito usadas, mas a partir do número 3, poucos tipos de evento forneceriam tanta informação. Portanto, decidi marcar as colunas 3-5 em cada tipo como SPARSE.

Fiz algumas análises primeiro e vi que, de fato, pelo menos 80% dos dados em cada uma dessas colunas são null, e em cerca de 100% dos dados são null. De acordo com a tabela de limite de economia de 40% , SPARSEseria uma grande vitória para eles.

Então eu fui e apliquei SPARSEnas colunas 3-5 em cada grupo. Agora, minha tabela ocupa cerca de 1,8 Gb no espaço de dados, conforme relatado por sp_spaceused, enquanto antes do sparsing era de 1 Gb.

Eu tentei dbcc cleantable, mas não teve efeito.
Então dbcc shrinkdatabase, nenhum efeito também.

Intrigado, removi SPARSEe repeti o dbccs. O tamanho da mesa permaneceu em 1,8 Gb.

O que da?

sql-server sql-server-2008
  • 1 1 respostas
  • 1128 Views

1 respostas

  • Voted
  1. Best Answer
    Martin Smith
    2012-02-05T08:42:09+08:002012-02-05T08:42:09+08:00

    Você precisa reconstruir o índice clusterizado depois de tornar as colunas esparsas. As colunas descartadas ainda existem na página de dados até que você faça isso, como pode ser visto com uma consulta sys.system_internals_partition_columnsou usandoDBCC PAGE

    SET NOCOUNT ON;
    CREATE TABLE Thing 
    (
    ThingId int IDENTITY CONSTRAINT PK PRIMARY KEY,
    USER_CHAR1 nvarchar(150) null,
    USER_CHAR2 nvarchar(150) null,
    USER_CHAR3 nvarchar(150) null,
    USER_CHAR4 nvarchar(150) null,
    USER_CHAR5 nvarchar(150) null
    )
    INSERT INTO Thing
    SELECT REPLICATE('A',150),
           CASE WHEN number % 5 = 1 THEN REPLICATE('A',150) END,
           CASE WHEN number % 5 = 2 THEN REPLICATE('A',150) END,
           CASE WHEN number % 5 = 3 THEN REPLICATE('A',150) END,              
           CASE WHEN number % 5 = 4 THEN REPLICATE('A',150) END
    FROM master..spt_values   
    
    EXEC sp_spaceused 'Thing'
    
    ALTER TABLE dbo.Thing ALTER COLUMN USER_CHAR2 ADD SPARSE
    ALTER TABLE dbo.Thing ALTER COLUMN USER_CHAR3 ADD SPARSE
    ALTER TABLE dbo.Thing ALTER COLUMN USER_CHAR4 ADD SPARSE
    ALTER TABLE dbo.Thing ALTER COLUMN USER_CHAR5 ADD SPARSE
    
    DECLARE @DynSQL NVARCHAR(MAX);
    
    SELECT @DynSQL =  'DBCC TRACEON (3604);
                       DBCC PAGE(0, ' + LEFT(file_id,10) + ', ' + LEFT(page_id,10) + ', 3); 
                       DBCC TRACEOFF(3604); ' 
    FROM Thing
    CROSS APPLY sys.fn_PhysLocCracker(%%physloc%%)
    WHERE ThingId=76
    
    EXEC(@DynSQL)    
    
    SELECT pc.*
    FROM sys.system_internals_partition_columns pc
    JOIN sys.partitions p on p.partition_id=pc.partition_id
    WHERE p.object_id = object_id('Thing')
    AND pc.is_dropped=1
    
     EXEC sp_spaceused 'Thing'
    
    ALTER INDEX PK ON Thing REBUILD;    
    
    SELECT @DynSQL =  'DBCC TRACEON (3604);
                       DBCC PAGE(0, ' + LEFT(file_id,10) + ', ' + LEFT(page_id,10) + ', 3); 
                       DBCC TRACEOFF(3604); ' 
    FROM Thing
    CROSS APPLY sys.fn_PhysLocCracker(%%physloc%%)
    WHERE ThingId=76
    
    EXEC(@DynSQL)    
    
    SELECT pc.*
    FROM sys.system_internals_partition_columns pc
    JOIN sys.partitions p on p.partition_id=pc.partition_id
    WHERE p.object_id = object_id('Thing')
    AND pc.is_dropped=1
    
    EXEC sp_spaceused 'Thing'
    
    DROP TABLE Thing 
    
    • 15

relate perguntas

  • Quais são as principais causas de deadlocks e podem ser evitadas?

  • Quanto "Padding" coloco em meus índices?

  • Existe um processo do tipo "práticas recomendadas" para os desenvolvedores seguirem para alterações no banco de dados?

  • Como determinar se um Índice é necessário ou necessário

  • Downgrade do SQL Server 2008 para 2005

Sidebar

Stats

  • Perguntas 205573
  • respostas 270741
  • best respostas 135370
  • utilizador 68524
  • Highest score
  • respostas
  • Marko Smith

    Como ver a lista de bancos de dados no Oracle?

    • 8 respostas
  • Marko Smith

    Quão grande deve ser o mysql innodb_buffer_pool_size?

    • 4 respostas
  • Marko Smith

    Listar todas as colunas de uma tabela especificada

    • 5 respostas
  • Marko Smith

    restaurar a tabela do arquivo .frm e .ibd?

    • 10 respostas
  • Marko Smith

    Como usar o sqlplus para se conectar a um banco de dados Oracle localizado em outro host sem modificar meu próprio tnsnames.ora

    • 4 respostas
  • Marko Smith

    Como você mysqldump tabela (s) específica (s)?

    • 4 respostas
  • Marko Smith

    Como selecionar a primeira linha de cada grupo?

    • 6 respostas
  • Marko Smith

    Listar os privilégios do banco de dados usando o psql

    • 10 respostas
  • Marko Smith

    Como inserir valores em uma tabela de uma consulta de seleção no PostgreSQL?

    • 4 respostas
  • Marko Smith

    Como faço para listar todos os bancos de dados e tabelas usando o psql?

    • 7 respostas
  • Martin Hope
    Mike Walsh Por que o log de transações continua crescendo ou fica sem espaço? 2012-12-05 18:11:22 +0800 CST
  • Martin Hope
    Stephane Rolland Listar todas as colunas de uma tabela especificada 2012-08-14 04:44:44 +0800 CST
  • Martin Hope
    haxney O MySQL pode realizar consultas razoavelmente em bilhões de linhas? 2012-07-03 11:36:13 +0800 CST
  • Martin Hope
    qazwsx Como posso monitorar o andamento de uma importação de um arquivo .sql grande? 2012-05-03 08:54:41 +0800 CST
  • Martin Hope
    markdorison Como você mysqldump tabela (s) específica (s)? 2011-12-17 12:39:37 +0800 CST
  • Martin Hope
    pedrosanta Listar os privilégios do banco de dados usando o psql 2011-08-04 11:01:21 +0800 CST
  • Martin Hope
    Jonas Como posso cronometrar consultas SQL usando psql? 2011-06-04 02:22:54 +0800 CST
  • Martin Hope
    Jonas Como inserir valores em uma tabela de uma consulta de seleção no PostgreSQL? 2011-05-28 00:33:05 +0800 CST
  • Martin Hope
    Jonas Como faço para listar todos os bancos de dados e tabelas usando o psql? 2011-02-18 00:45:49 +0800 CST
  • Martin Hope
    bernd_k Quando devo usar uma restrição exclusiva em vez de um índice exclusivo? 2011-01-05 02:32:27 +0800 CST

Hot tag

sql-server mysql postgresql sql-server-2014 sql-server-2016 oracle sql-server-2008 database-design query-performance sql-server-2017

Explore

  • Início
  • Perguntas
    • Recentes
    • Highest score
  • tag
  • help

Footer

AskOverflow.Dev

About Us

  • About Us
  • Contact Us

Legal Stuff

  • Privacy Policy

Language

  • Pt
  • Server
  • Unix

© 2023 AskOverflow.DEV All Rights Reserve