AskOverflow.Dev

AskOverflow.Dev Logo AskOverflow.Dev Logo

AskOverflow.Dev Navigation

  • Início
  • system&network
  • Ubuntu
  • Unix
  • DBA
  • Computer
  • Coding
  • LangChain

Mobile menu

Close
  • Início
  • system&network
    • Recentes
    • Highest score
    • tags
  • Ubuntu
    • Recentes
    • Highest score
    • tags
  • Unix
    • Recentes
    • tags
  • DBA
    • Recentes
    • tags
  • Computer
    • Recentes
    • tags
  • Coding
    • Recentes
    • tags
Início / dba / Perguntas / 208229
Accepted
Philip
Philip
Asked: 2018-05-31 02:54:11 +0800 CST2018-05-31 02:54:11 +0800 CST 2018-05-31 02:54:11 +0800 CST

Dividindo partições existentes no SQL 2014

  • 772

Eu tenho uma tabela do SQL Server que contém mais de 20 bilhões de linhas, com 13 bilhões de linhas na última partição.

A tabela está atualmente particionada de 6 maneiras por um campo "Time":

2011
2012
2013
2014
2015
2016/2017/2018

A partição 2016/2017/2018 precisa ser dividida em suas próprias partições para que haja uma partição 2016, 2017, 2018.

Como isso pode ser feito e, no processo, evitando um crescimento massivo de arquivos de log? O banco de dados está em Simple Recovery e atualmente cada partição está em um grupo de arquivos separado em seu próprio conjunto de discos.

CREATE TABLE [dbo].[Log](

      [RefNo] [nchar](7) NOT NULL,

      [DevID] [nvarchar](7) NOT NULL,

      [Time] [datetime] NOT NULL,

      [summary] [float] NULL,

      [staging] [float] NULL,

      [position] [float] NULL,

CONSTRAINT [PK_Log] PRIMARY KEY CLUSTERED

(

      [RefNo] ASC,

      [DevID] ASC,

      [Time] ASC

)WITH (PAD_INDEX = OFF, STATISTICS_NORECOMPUTE = OFF, IGNORE_DUP_KEY = ON, ALLOW_ROW_LOCKS = ON, ALLOW_PAGE_LOCKS = ON, FILLFACTOR = 96)

)

insira a descrição da imagem aqui

sql-server sql-server-2014
  • 1 1 respostas
  • 1178 Views

1 respostas

  • Voted
  1. Best Answer
    Dan Guzman
    2018-06-03T08:14:53+08:002018-06-03T08:14:53+08:00

    Abaixo está um script de exemplo para criar as novas partições anuais. Você pode precisar ajustar o script para o nome da função de partição real e novos nomes de grupos de arquivos. Esse método pressupõe que a operação é executada em uma janela de manutenção quando não há inserções na tabela e os dados de 2016 e posteriores não são necessários para consultas.

    O resumo das etapas executadas pelo script são:

    • crie uma nova função de partição e esquema como os originais
    • crie uma nova tabela de preparo alinhada como a original
    • mude a partição que contém dados > 2016-01-01 para a tabela de teste
    • adicione 3 novas partições à função/esquema de partição original
    • reconstruir a tabela de preparo na partição original com DROP_EXISTING=ON
    • troque as 3 novas partições da tabela de preparo de volta para a tabela original

    Há alguns problemas com o particionamento de tabela existente dos quais você deve estar ciente. Por causa da RANGE LEFTfunção, os valores de data e hora que são exatamente meia-noite no primeiro dia do ano serão colocados na partição errada. Por exemplo, uma linha com Timeo valor '2012-01-01T00:00:00' estará na partição 1 junto com os dados do ano 2011 em vez da partição 2 com o restante dos dados do ano 2012 conforme desejado. Isso pode não ser uma preocupação, a menos que você limpe os dados por partição.

    Esteja ciente de que a última partição se uma RANGE LEFTfunção nunca pode ser removida. A implicação é que o grupo de arquivos da última partição faz parte permanentemente dos esquemas de partição que usam a função. No seu caso, o grupo de arquivos Year6FileGroupsempre será o último grupo de arquivos do psYearlyPartition_Logesquema, embora também possa ser usado para outra partição, como para o ano de 2016 aqui.

    As partições após a execução do script serão como abaixo e espera-se que a última partição esteja vazia (assumindo que você não tenha dados do ano futuro). Você deve criar a partição para o próximo ano antes do início do ano para evitar dividir uma partição não vazia ou evitar pular por esses aros novamente.

    +------------------+----------------+----------------+----------------+
    | Partition Number | Lower Boundary | Upper Boundary |   Filegroup    |
    +------------------+----------------+----------------+----------------+
    |                1 | NULL           | <= 2012-01-01  | Year1FileGroup |
    |                2 | > 2012-01-01   | <= 2013-01-01  | Year2FileGroup |
    |                3 | > 2013-01-01   | <= 2014-01-01  | Year3FileGroup |
    |                4 | > 2014-01-01   | <= 2015-01-01  | Year4FileGroup |
    |                5 | > 2015-01-01   | <= 2016-01-01  | Year5FileGroup |
    |                6 | > 2016-01-01   | <= 2017-01-01  | Year6FileGroup |
    |                7 | > 2017-01-01   | <= 2018-01-01  | Year7FileGroup |
    |                8 | > 2018-01-01   | <= 2019-01-01  | Year8FileGroup |
    |                9 | > 2019-01-01   | NULL           | Year6FileGroup |
    +------------------+----------------+----------------+----------------+
    

    Eu geralmente recomendo uma RANGE RIGHTfunção ao particionar em valores incrementais como datetime porque o comportamento é mais intuitivo. Consulte Práticas recomendadas de particionamento de tabela para esta e outras considerações.

    --create identical partition function and scheme
    CREATE PARTITION FUNCTION pfYearlyPartition_Log_Staging(datetime) 
        AS RANGE LEFT FOR VALUES(
          '20120101'
        , '20130101'
        , '20140101'
        , '20150101'
        , '20160101'
    );
    CREATE PARTITION SCHEME psYearlyPartition_Log_Staging
        AS PARTITION pfYearlyPartition_Log_Staging TO (
          Year1FileGroup
        , Year2FileGroup
        , Year3FileGroup
        , Year4FileGroup
        , Year5FileGroup
        , Year6FileGroup
    );
    
    --create identical aligned staging table
    CREATE TABLE [dbo].[Log_Staging](
          [RefNo] [nchar](7) NOT NULL,
          [DevID] [nvarchar](7) NOT NULL,
          [Time] [datetime] NOT NULL,
          [summary] [float] NULL,
          [staging] [float] NULL,
          [position] [float] NULL,
    CONSTRAINT [PK_Log_Staging] PRIMARY KEY CLUSTERED
    (
          [RefNo] ASC,
          [DevID] ASC,
          [Time] ASC
    ) 
    WITH (PAD_INDEX = OFF, STATISTICS_NORECOMPUTE = OFF, IGNORE_DUP_KEY = ON, ALLOW_ROW_LOCKS = ON, ALLOW_PAGE_LOCKS = ON, FILLFACTOR = 96)
    ) ON psYearlyPartition_Log_Staging(Time);
    
    --switch last partition into staging table
    ALTER TABLE dbo.Log
        SWITCH PARTITION $PARTITION.pfYearlyPartition_Log('20170101')
        TO dbo.Log_Staging PARTITION $PARTITION.pfYearlyPartition_Log_Staging('20170101');
    
    --create new partitions for main table (assuming filegroups already exist for years 7 and 8)
    ALTER PARTITION SCHEME psYearlyPartition_Log
        NEXT USED Year6FileGroup;
    ALTER PARTITION FUNCTION pfYearlyPartition_Log()
        SPLIT RANGE('20170101');
    ALTER PARTITION SCHEME psYearlyPartition_Log
        NEXT USED Year7FileGroup;
    ALTER PARTITION FUNCTION pfYearlyPartition_Log()
        SPLIT RANGE('20180101');
    ALTER PARTITION SCHEME psYearlyPartition_Log
        NEXT USED Year8FileGroup;
    ALTER PARTITION FUNCTION pfYearlyPartition_Log()
        SPLIT RANGE('20190101');
    
    --we must specify IGNORE_DUP_KEY=OFF in order to use DROP_EXISTING_ON here
    --but, since the original table PK index definition is unchanged, that's a non-issue
    CREATE UNIQUE CLUSTERED INDEX [PK_Log_Staging] ON dbo.Log_Staging 
    (
          [RefNo] ASC,
          [DevID] ASC,
          [Time] ASC
    ) 
    WITH (DROP_EXISTING=ON, PAD_INDEX = OFF, STATISTICS_NORECOMPUTE = OFF, IGNORE_DUP_KEY = OFF, ALLOW_ROW_LOCKS = ON, ALLOW_PAGE_LOCKS = ON, FILLFACTOR = 96)
    ON psYearlyPartition_Log(Time);
    
    ALTER TABLE dbo.Log_Staging
        SWITCH PARTITION $PARTITION.pfYearlyPartition_Log('20170101')
        TO dbo.Log PARTITION $PARTITION.pfYearlyPartition_Log('20170101');
    ALTER TABLE dbo.Log_Staging
        SWITCH PARTITION $PARTITION.pfYearlyPartition_Log('20180101')
        TO dbo.Log PARTITION $PARTITION.pfYearlyPartition_Log('20180101');
    ALTER TABLE dbo.Log_Staging
        SWITCH PARTITION $PARTITION.pfYearlyPartition_Log('20190101')
        TO dbo.Log PARTITION $PARTITION.pfYearlyPartition_Log('20190101');
    
    • 6

relate perguntas

  • SQL Server - Como as páginas de dados são armazenadas ao usar um índice clusterizado

  • Preciso de índices separados para cada tipo de consulta ou um índice de várias colunas funcionará?

  • Quando devo usar uma restrição exclusiva em vez de um índice exclusivo?

  • Quais são as principais causas de deadlocks e podem ser evitadas?

  • Como determinar se um Índice é necessário ou necessário

Sidebar

Stats

  • Perguntas 205573
  • respostas 270741
  • best respostas 135370
  • utilizador 68524
  • Highest score
  • respostas
  • Marko Smith

    conectar ao servidor PostgreSQL: FATAL: nenhuma entrada pg_hba.conf para o host

    • 12 respostas
  • Marko Smith

    Como fazer a saída do sqlplus aparecer em uma linha?

    • 3 respostas
  • Marko Smith

    Selecione qual tem data máxima ou data mais recente

    • 3 respostas
  • Marko Smith

    Como faço para listar todos os esquemas no PostgreSQL?

    • 4 respostas
  • Marko Smith

    Listar todas as colunas de uma tabela especificada

    • 5 respostas
  • Marko Smith

    Como usar o sqlplus para se conectar a um banco de dados Oracle localizado em outro host sem modificar meu próprio tnsnames.ora

    • 4 respostas
  • Marko Smith

    Como você mysqldump tabela (s) específica (s)?

    • 4 respostas
  • Marko Smith

    Listar os privilégios do banco de dados usando o psql

    • 10 respostas
  • Marko Smith

    Como inserir valores em uma tabela de uma consulta de seleção no PostgreSQL?

    • 4 respostas
  • Marko Smith

    Como faço para listar todos os bancos de dados e tabelas usando o psql?

    • 7 respostas
  • Martin Hope
    Jin conectar ao servidor PostgreSQL: FATAL: nenhuma entrada pg_hba.conf para o host 2014-12-02 02:54:58 +0800 CST
  • Martin Hope
    Stéphane Como faço para listar todos os esquemas no PostgreSQL? 2013-04-16 11:19:16 +0800 CST
  • Martin Hope
    Mike Walsh Por que o log de transações continua crescendo ou fica sem espaço? 2012-12-05 18:11:22 +0800 CST
  • Martin Hope
    Stephane Rolland Listar todas as colunas de uma tabela especificada 2012-08-14 04:44:44 +0800 CST
  • Martin Hope
    haxney O MySQL pode realizar consultas razoavelmente em bilhões de linhas? 2012-07-03 11:36:13 +0800 CST
  • Martin Hope
    qazwsx Como posso monitorar o andamento de uma importação de um arquivo .sql grande? 2012-05-03 08:54:41 +0800 CST
  • Martin Hope
    markdorison Como você mysqldump tabela (s) específica (s)? 2011-12-17 12:39:37 +0800 CST
  • Martin Hope
    Jonas Como posso cronometrar consultas SQL usando psql? 2011-06-04 02:22:54 +0800 CST
  • Martin Hope
    Jonas Como inserir valores em uma tabela de uma consulta de seleção no PostgreSQL? 2011-05-28 00:33:05 +0800 CST
  • Martin Hope
    Jonas Como faço para listar todos os bancos de dados e tabelas usando o psql? 2011-02-18 00:45:49 +0800 CST

Hot tag

sql-server mysql postgresql sql-server-2014 sql-server-2016 oracle sql-server-2008 database-design query-performance sql-server-2017

Explore

  • Início
  • Perguntas
    • Recentes
    • Highest score
  • tag
  • help

Footer

AskOverflow.Dev

About Us

  • About Us
  • Contact Us

Legal Stuff

  • Privacy Policy

Language

  • Pt
  • Server
  • Unix

© 2023 AskOverflow.DEV All Rights Reserve