Como fazer uma carga em massa de um banco de dados quando o aplicativo depende dele?

Você precisa descartar e recarregar o banco de dados? Em um caso como o seu, eu procuraria uma maneira de sincronizar o banco de dados com o conjunto de referência (os dados que você está carregando).

Uma abordagem alternativa seria ter dois bancos de dados. Carregue um diferente a cada dia. Configure o aplicativo da web para que você possa trocar bancos de dados em tempo real.

Bem, isso é direto na maioria dos bancos de dados. Enquanto seu aplicativo está em execução, no trabalho de carregamento:

1. Inicie uma transação (isso pode ser implícito ou pode exigir um comando, você não especifica qual banco de dados está usando)
2. DELETEtodos os dados das tabelas ( não descartar ou truncar)
3. INSERTos novos dados
4. COMMITa transação

Enquanto as etapas 1 a 3 estiverem em execução, o aplicativo verá a versão "antiga" dos dados e poderá continuar normalmente. Assim que a etapa 4 for concluída, o aplicativo verá os novos dados assim que executar a próxima consulta.

Trunque as tabelas e carregue os dados em massa. Se necessário, bloqueie o aplicativo da Web da tabela antes de truncar a tabela.

isso depende de como estão as árvores de dependência. Se você tiver muitos objetos dependentes na tabela [s] onde você carrega os dados, o melhor é não alterar o objeto, a tabela porque muitas invalidações ocorrerão.

truncar a tabela elimina os dados muito rapidamente, mas não funcionará quando houver restrições referenciais. Também não funcionará quando o aplicativo estiver em execução devido a problemas de bloqueio.

O melhor para o aplicativo será uma sequência normal de exclusão/inserção. Não é a opção mais rápida, mas é a melhor para disponibilidade e tem menos problemas com travamento.

Outras opções podem ser carregamento de troca de partição. As restrições podem ser problemáticas e levar muito tempo para serem validadas. Nunca derrube uma tabela apenas para se livrar dos dados. Uma tabela deve ser considerada como a infraestrutura do aplicativo e deve estar sempre disponível, pois o aplicativo lançará muitos erros para seus usuários.

1. Pare o aplicativo da web.
2. Solte/restaure o banco de dados.
3. Inicie o aplicativo da web novamente.

carrego os novos dados em uma tabela temporária. desta forma, tenho que bloquear apenas as linhas que preciso atualizar. Depois, excluo as linhas ausentes e insiro novas linhas.

create table permanent ( key int primary key, field1 int, field2 text );
create temporary table temporary as select * from permanent where false;
\copy temporary from 'actual_data.dump'
alter table temporary add constraint temporary_pkey primary key ( key );

update permanent                              
   set field1 = temporary.field1,
       field2 = temporary.field2
  from temporary
 where permanent.key = temporary.key
   and (     permanent.field1 is distinct from temporary.field1
         or  permanent.field2 is distinct from temporary.field2
       );

delete from permanent where not exists ( select 1
                                           from temporary
                                          where key = permanent.key );
insert into permanent ( select *
                          from temporary
                         where not exists ( select 1
                                              from permanent
                                             where key = temporary.key ) );

isso funciona pelo menos para postgresql.

para oracle eu uso o seguinte:

update ( select p.field1 p_field1,
                p.field2 p_field2,
                t.field1 t_field1,
                t.field2 t_field2
           from permanent p, temporary t
          where p.key = t.key )
   set p_field1 = t_field1,
       p_field2 = t_field2
 where p_field1 <> t_field1
    or p_field1 is null and t_field1 is not null
    or p_field1 is not null and t_field1 is null
    or p_field2 <> t_field2
    or p_field2 is null and t_field2 is not null
    or p_field2 is not null and t_field2 is null

 where nvl(p_field1, -1) <> nvl(t_field1, -1)
    or nvl(p_field2, '{null}') <> nvl(t_field2, '{null}')