AskOverflow.Dev

AskOverflow.Dev Logo AskOverflow.Dev Logo

AskOverflow.Dev Navigation

  • Início
  • system&network
  • Ubuntu
  • Unix
  • DBA
  • Computer
  • Coding
  • LangChain

Mobile menu

Close
  • Início
  • system&network
    • Recentes
    • Highest score
    • tags
  • Ubuntu
    • Recentes
    • Highest score
    • tags
  • Unix
    • Recentes
    • tags
  • DBA
    • Recentes
    • tags
  • Computer
    • Recentes
    • tags
  • Coding
    • Recentes
    • tags
Início / dba / Perguntas / 156047
Accepted
Jason
Jason
Asked: 2016-11-23 09:29:19 +0800 CST2016-11-23 09:29:19 +0800 CST 2016-11-23 09:29:19 +0800 CST

Importando dados em paralelo no SQL Server

  • 772

Tenho mais de 100 arquivos para importar para o sql server e a maioria deles são de 500 MB. Desejo aproveitar o utilitário de importação paralela do servidor SQL e li várias páginas da Web, como as seguintes:

Como carregar dados de 1 TB em 30 minutos

https://technet.microsoft.com/en-us/library/dd537533(v=sql.100).aspx

Importando dados em paralelo com bloqueio de nível de tabela

https://technet.microsoft.com/en-us/library/ms186341(v=sql.105).aspx

e as respostas no stackoverflow

Maneira mais rápida de inserir em paralelo a uma única tabela

No entanto, nenhum deles deu um exemplo simples com código. Sei como usar a inserção em massa/bcp, mas não sei por onde começar com a importação paralela. Alguém pode me ajudar com isso?

Meu sistema é Windows e estou usando o SQL Server 2016. O arquivo de dados de origem está no formato txt.

Agradeço antecipadamente por sua ajuda!

jasão

sql-server parameter
  • 1 1 respostas
  • 1900 Views

1 respostas

  • Voted
  1. Best Answer
    Kin Shah
    2016-11-23T10:30:19+08:002016-11-23T10:30:19+08:00

    Pegando emprestado minha velha resposta

    Abaixo estão algumas boas maneiras de melhorar as operações BULK INSERT:

    1. Usando TABLOCK como dica de consulta.
    2. Eliminar índices durante a operação de carregamento em massa e, depois de concluído, recriá-los.
    3. Alterar o modelo de recuperação do banco de dados para ser BULK_LOGGED durante a operação de carregamento.
    4. Se o destino tiver um índice agrupado, especificar a cláusula ORDER BY na operação de inserção em massa aumentará a velocidade do carregamento em massa.
    5. Usando o sinalizador de rastreamento 610 no início da operação BULK INSERT.

    O grau máximo de paralelismo deve ser configurado no servidor em vez do padrão. Você pode consultar minha resposta sobre como configurá-lo aqui .

    Se você estiver usando o SQL Server 2014 e superior, SELECT ... INTOé parallel .

    Além disso, você deve monitorar as estatísticas de espera no servidor, especialmente SOS_SCHEDULER_YIELD, resultando em contenção do agendador em servidores com várias CPUs executando operações de carregamento em massa simultâneas e competindo pelos mesmos ciclos de CPU.

    Consulte também:

    • Inserção em massa de 1 Terabyte em 10 minutos
    • Carregamos 1 TB em 30 minutos com SSIS, e você também pode
    • Carregue 1 TB em menos de 1 hora
    • Mundo Real Paralelo INSERT…SELECT: O que mais você precisa saber!
    • 3

relate perguntas

  • SQL Server - Como as páginas de dados são armazenadas ao usar um índice clusterizado

  • Preciso de índices separados para cada tipo de consulta ou um índice de várias colunas funcionará?

  • Quando devo usar uma restrição exclusiva em vez de um índice exclusivo?

  • Quais são as principais causas de deadlocks e podem ser evitadas?

  • Como determinar se um Índice é necessário ou necessário

Sidebar

Stats

  • Perguntas 205573
  • respostas 270741
  • best respostas 135370
  • utilizador 68524
  • Highest score
  • respostas
  • Marko Smith

    conectar ao servidor PostgreSQL: FATAL: nenhuma entrada pg_hba.conf para o host

    • 12 respostas
  • Marko Smith

    Como fazer a saída do sqlplus aparecer em uma linha?

    • 3 respostas
  • Marko Smith

    Selecione qual tem data máxima ou data mais recente

    • 3 respostas
  • Marko Smith

    Como faço para listar todos os esquemas no PostgreSQL?

    • 4 respostas
  • Marko Smith

    Listar todas as colunas de uma tabela especificada

    • 5 respostas
  • Marko Smith

    Como usar o sqlplus para se conectar a um banco de dados Oracle localizado em outro host sem modificar meu próprio tnsnames.ora

    • 4 respostas
  • Marko Smith

    Como você mysqldump tabela (s) específica (s)?

    • 4 respostas
  • Marko Smith

    Listar os privilégios do banco de dados usando o psql

    • 10 respostas
  • Marko Smith

    Como inserir valores em uma tabela de uma consulta de seleção no PostgreSQL?

    • 4 respostas
  • Marko Smith

    Como faço para listar todos os bancos de dados e tabelas usando o psql?

    • 7 respostas
  • Martin Hope
    Jin conectar ao servidor PostgreSQL: FATAL: nenhuma entrada pg_hba.conf para o host 2014-12-02 02:54:58 +0800 CST
  • Martin Hope
    Stéphane Como faço para listar todos os esquemas no PostgreSQL? 2013-04-16 11:19:16 +0800 CST
  • Martin Hope
    Mike Walsh Por que o log de transações continua crescendo ou fica sem espaço? 2012-12-05 18:11:22 +0800 CST
  • Martin Hope
    Stephane Rolland Listar todas as colunas de uma tabela especificada 2012-08-14 04:44:44 +0800 CST
  • Martin Hope
    haxney O MySQL pode realizar consultas razoavelmente em bilhões de linhas? 2012-07-03 11:36:13 +0800 CST
  • Martin Hope
    qazwsx Como posso monitorar o andamento de uma importação de um arquivo .sql grande? 2012-05-03 08:54:41 +0800 CST
  • Martin Hope
    markdorison Como você mysqldump tabela (s) específica (s)? 2011-12-17 12:39:37 +0800 CST
  • Martin Hope
    Jonas Como posso cronometrar consultas SQL usando psql? 2011-06-04 02:22:54 +0800 CST
  • Martin Hope
    Jonas Como inserir valores em uma tabela de uma consulta de seleção no PostgreSQL? 2011-05-28 00:33:05 +0800 CST
  • Martin Hope
    Jonas Como faço para listar todos os bancos de dados e tabelas usando o psql? 2011-02-18 00:45:49 +0800 CST

Hot tag

sql-server mysql postgresql sql-server-2014 sql-server-2016 oracle sql-server-2008 database-design query-performance sql-server-2017

Explore

  • Início
  • Perguntas
    • Recentes
    • Highest score
  • tag
  • help

Footer

AskOverflow.Dev

About Us

  • About Us
  • Contact Us

Legal Stuff

  • Privacy Policy

Language

  • Pt
  • Server
  • Unix

© 2023 AskOverflow.DEV All Rights Reserve