AskOverflow.Dev

AskOverflow.Dev Logo AskOverflow.Dev Logo

AskOverflow.Dev Navigation

  • Início
  • system&network
  • Ubuntu
  • Unix
  • DBA
  • Computer
  • Coding
  • LangChain

Mobile menu

Close
  • Início
  • system&network
    • Recentes
    • Highest score
    • tags
  • Ubuntu
    • Recentes
    • Highest score
    • tags
  • Unix
    • Recentes
    • tags
  • DBA
    • Recentes
    • tags
  • Computer
    • Recentes
    • tags
  • Coding
    • Recentes
    • tags
Início / dba / Perguntas / 224636
Accepted
user3657339
user3657339
Asked: 2018-12-12 01:42:07 +0800 CST2018-12-12 01:42:07 +0800 CST 2018-12-12 01:42:07 +0800 CST

Particionar a tabela do SQL Server por ano, período contínuo de 35 dias

  • 772

Estamos tentando particionar as tabelas do SQL Server por ano (2015, 2016, 2017, 2018) e queremos criar mais uma partição que mantenha os dados atuais do período de 35 dias sempre.

Partições: Part_2015, Part_2016, Part_2017, Part_2018, Part_35Day

Create Partition Function RangePartFunction (datetime2)
as Range Right For Values ('20150101', '20160101', '20170101') 

Estou lutando como criamos para 2018 e período de 35 dias consecutivos

Alguém pode aconselhar...

sql-server
  • 1 1 respostas
  • 2051 Views

1 respostas

  • Voted
  1. Best Answer
    Dan Guzman
    2018-12-12T07:16:06+08:002018-12-12T07:16:06+08:00

    No momento, o SQL Server não tem uma maneira de especificar declarativamente uma janela de partição deslizante. É necessário executar o T-SQL para remover o limite antigo e criar um novo. Um script T-SQL (talvez encapsulado em um procedimento armazenado) pode ser agendado diariamente para essa finalidade.

    Geralmente, é melhor dividir e mesclar apenas partições vazias, mas isso não é possível no seu caso devido ao histórico de partições anuais, além da partição de janela de 35 dias na mesma tabela. Um método para fazer isso com relativa eficiência é empregar um esquema de partição, função e tabela de preparo idênticos. SPLITIsso permite que você opere na partição de janela de 35 dias sem movimentação excessiva de dados e registro que seriam necessários com MERGEpartições não vazias.

    O script abaixo desliza a janela diária e move os dados para fora da janela ativa usando DELETE...OUTPUT(100 mil linhas diárias). O trabalho pesado para os dados dentro da janela ativa (cerca de 3,5 milhões de linhas) é feito com CREATE INDEX...WITH(DROP_EXISTING=ON). Eu esperaria que isso funcionasse bem dentro de sua janela de manutenção de 3 horas, provavelmente segundos ou minutos na pior das hipóteses.

    Isso pressupõe que sua tabela e índices estejam alinhados. Abaixo está o exemplo DDL.

    CREATE PARTITION FUNCTION RangePartFunction (datetime2)
        AS RANGE RIGHT FOR VALUES ('20150101', '20160101', '20170101', '20180101'); 
    CREATE PARTITION FUNCTION RangePartFunction_Staging (datetime2)
        AS RANGE RIGHT FOR VALUES ('20150101', '20160101', '20170101', '20180101');
    CREATE PARTITION SCHEME RangePartScheme
        AS PARTITION RangePartFunction TO ([PRIMARY], Part_2015, Part_2016, Part_2017, Part_2018);
    CREATE PARTITION SCHEME RangePartScheme_Staging
        AS PARTITION RangePartFunction_Staging TO ([PRIMARY], Part_2015, Part_2016, Part_2017, Part_2018);
    
    --partition for last 35 days
    DECLARE @Start35DayWindowDate datetime2 = CAST(DATEADD(day, -35, CAST(SYSDATETIME() AS date)) AS datetime2);
    ALTER PARTITION SCHEME RangePartScheme
        NEXT USED Part_35Day;
    ALTER PARTITION SCHEME RangePartScheme_Staging
        NEXT USED Part_35Day;
    ALTER PARTITION FUNCTION RangePartFunction()
        SPLIT RANGE(@Date);
    ALTER PARTITION FUNCTION RangePartFunction_Staging()
        SPLIT RANGE(@Date);
    GO
    --example tables
    CREATE TABLE dbo.Table1(
          Col1 datetime2
        , Col2 int
        , Col3 char(1000) 
    ) ON RangePartScheme(Col1);
    CREATE CLUSTERED INDEX cdx ON dbo.Table1(Col2, Col1)  ON RangePartScheme(Col1);
    CREATE NONCLUSTERED INDEX idx ON dbo.Table1(Col2) ON RangePartScheme(Col1);
    CREATE TABLE dbo.Table1_Staging(
          Col1 datetime2
        , Col2 int
        , Col3 char(1000) 
    ) ON RangePartScheme(Col1);
    CREATE CLUSTERED INDEX cdx ON dbo.Table1_Staging(Col2, Col1)  ON RangePartScheme_Staging(Col1);
    CREATE NONCLUSTERED INDEX idx ON dbo.Table1_Staging(Col2) ON RangePartScheme_Staging(Col1);
    GO
    

    Script de manutenção diária da partição (veja comentários embutidos):

    SET XACT_ABORT ON;
    BEGIN TRY
        BEGIN TRAN;
    
        DECLARE @Start35DayWindowDate datetime2  = CAST(DATEADD(day, -35, CAST(SYSDATETIME() AS date)) AS datetime2);
        DECLARE @LastBoundaryDate datetime2 = (
            SELECT MAX(CAST(value AS datetime2))
                FROM  sys.partition_functions AS pf
                JOIN sys.partition_range_values AS prv ON prv.function_id = pf.function_id
                WHERE 
                    pf.name =   N'RangePartFunction'
            );
    
        IF @Start35DayWindowDate > @LastBoundaryDate
        BEGIN
    
            --switch last partition into staging table
            ALTER TABLE dbo.Table1
                SWITCH PARTITION $Partition.RangePartFunction(@LastBoundaryDate)
                TO dbo.Table1_Staging PARTITION $Partition.RangePartFunction_Staging(@LastBoundaryDate);
            --merge original function (with empty partition)
            ALTER PARTITION FUNCTION RangePartFunction()
                MERGE RANGE(@LastBoundaryDate);
    
            --create new yearly partition when the 35-day window passes the first of the year
            --NOTE: current year filegroup must be created and this script changed with the new filegroup name before February 6th of each year
            IF @LastBoundaryDate = DATEADD(year, DATEDIFF(year, '', @LastBoundaryDate), '')
            BEGIN
                ALTER PARTITION SCHEME RangePartScheme
                    NEXT USED Part_2019;
                ALTER PARTITION FUNCTION RangePartFunction()
                    SPLIT RANGE(@LastBoundaryDate);
            END;
    
            --split original function for new 35-day window boundary
            ALTER PARTITION SCHEME RangePartScheme
                NEXT USED Part_35Day;
            ALTER PARTITION FUNCTION RangePartFunction()
                SPLIT RANGE(@Start35DayWindowDate);
    
            --rebuild staging table using original scheme
            CREATE CLUSTERED INDEX cdx ON dbo.Table1_Staging(Col2, Col1) WITH(DROP_EXISTING=ON) ON RangePartScheme(Col1);
            CREATE NONCLUSTERED INDEX idx ON dbo.Table1_Staging(Col2) WITH(DROP_EXISTING=ON) ON RangePartScheme(Col1);
    
            --switch partition with new window from staging table back into original table
            ALTER TABLE dbo.Table1_Staging
                SWITCH PARTITION $Partition.RangePartFunction(@Start35DayWindowDate)
                TO dbo.Table1 PARTITION $Partition.RangePartFunction(@Start35DayWindowDate);
    
            --move remaining rows into original table historical yearly file group (single day older than 35 days)
            DELETE dbo.Table1_Staging
                OUTPUT deleted.* INTO dbo.Table1;
    
            --apply same changes to staging function, scheme, and table to prepare for next day
            ALTER PARTITION FUNCTION RangePartFunction_Staging()
                MERGE RANGE(@LastBoundaryDate);
            ALTER PARTITION SCHEME RangePartScheme_Staging
                NEXT USED Part_35Day;
            ALTER PARTITION FUNCTION RangePartFunction_Staging()
                SPLIT RANGE(@Start35DayWindowDate);
            IF @LastBoundaryDate = DATEADD(year, DATEDIFF(year, '', @LastBoundaryDate), '')
            BEGIN
                ALTER PARTITION SCHEME RangePartScheme_Staging
                    NEXT USED Part_2019;
                ALTER PARTITION FUNCTION RangePartFunction_Staging()
                    SPLIT RANGE(@LastBoundaryDate);
            END;
            CREATE CLUSTERED INDEX cdx ON dbo.Table1_Staging(Col2, Col1) WITH(DROP_EXISTING=ON) ON RangePartScheme_Staging(Col1);
            CREATE NONCLUSTERED INDEX idx ON dbo.Table1_Staging(Col2) WITH(DROP_EXISTING=ON) ON RangePartScheme_Staging(Col1);
        END;
        COMMIT;
    END TRY
    BEGIN CATCH
        IF @@TRANCOUNT > 0 ROLLBACK;
        THROW;
    END CATCH;
    GO
    
    • 2

relate perguntas

  • SQL Server - Como as páginas de dados são armazenadas ao usar um índice clusterizado

  • Preciso de índices separados para cada tipo de consulta ou um índice de várias colunas funcionará?

  • Quando devo usar uma restrição exclusiva em vez de um índice exclusivo?

  • Quais são as principais causas de deadlocks e podem ser evitadas?

  • Como determinar se um Índice é necessário ou necessário

Sidebar

Stats

  • Perguntas 205573
  • respostas 270741
  • best respostas 135370
  • utilizador 68524
  • Highest score
  • respostas
  • Marko Smith

    conectar ao servidor PostgreSQL: FATAL: nenhuma entrada pg_hba.conf para o host

    • 12 respostas
  • Marko Smith

    Como fazer a saída do sqlplus aparecer em uma linha?

    • 3 respostas
  • Marko Smith

    Selecione qual tem data máxima ou data mais recente

    • 3 respostas
  • Marko Smith

    Como faço para listar todos os esquemas no PostgreSQL?

    • 4 respostas
  • Marko Smith

    Listar todas as colunas de uma tabela especificada

    • 5 respostas
  • Marko Smith

    Como usar o sqlplus para se conectar a um banco de dados Oracle localizado em outro host sem modificar meu próprio tnsnames.ora

    • 4 respostas
  • Marko Smith

    Como você mysqldump tabela (s) específica (s)?

    • 4 respostas
  • Marko Smith

    Listar os privilégios do banco de dados usando o psql

    • 10 respostas
  • Marko Smith

    Como inserir valores em uma tabela de uma consulta de seleção no PostgreSQL?

    • 4 respostas
  • Marko Smith

    Como faço para listar todos os bancos de dados e tabelas usando o psql?

    • 7 respostas
  • Martin Hope
    Jin conectar ao servidor PostgreSQL: FATAL: nenhuma entrada pg_hba.conf para o host 2014-12-02 02:54:58 +0800 CST
  • Martin Hope
    Stéphane Como faço para listar todos os esquemas no PostgreSQL? 2013-04-16 11:19:16 +0800 CST
  • Martin Hope
    Mike Walsh Por que o log de transações continua crescendo ou fica sem espaço? 2012-12-05 18:11:22 +0800 CST
  • Martin Hope
    Stephane Rolland Listar todas as colunas de uma tabela especificada 2012-08-14 04:44:44 +0800 CST
  • Martin Hope
    haxney O MySQL pode realizar consultas razoavelmente em bilhões de linhas? 2012-07-03 11:36:13 +0800 CST
  • Martin Hope
    qazwsx Como posso monitorar o andamento de uma importação de um arquivo .sql grande? 2012-05-03 08:54:41 +0800 CST
  • Martin Hope
    markdorison Como você mysqldump tabela (s) específica (s)? 2011-12-17 12:39:37 +0800 CST
  • Martin Hope
    Jonas Como posso cronometrar consultas SQL usando psql? 2011-06-04 02:22:54 +0800 CST
  • Martin Hope
    Jonas Como inserir valores em uma tabela de uma consulta de seleção no PostgreSQL? 2011-05-28 00:33:05 +0800 CST
  • Martin Hope
    Jonas Como faço para listar todos os bancos de dados e tabelas usando o psql? 2011-02-18 00:45:49 +0800 CST

Hot tag

sql-server mysql postgresql sql-server-2014 sql-server-2016 oracle sql-server-2008 database-design query-performance sql-server-2017

Explore

  • Início
  • Perguntas
    • Recentes
    • Highest score
  • tag
  • help

Footer

AskOverflow.Dev

About Us

  • About Us
  • Contact Us

Legal Stuff

  • Privacy Policy

Language

  • Pt
  • Server
  • Unix

© 2023 AskOverflow.DEV All Rights Reserve