Tenho banco de dados de 4 TB na empresa. Como muitas análises diferentes exigem dados completos, o banco de dados atual não é capaz de lidar com sessões simultâneas de centenas de usuários.
É possível fazer a replicação do banco de dados no s3 para que o problema seja resolvido.
Quero dizer
Começar com
- Primeiro faça a exportação completa de 4TB no s3
- Agora eu quero fazer atualizações incrementais como fazemos com replicação de banco de dados em escravos. Mas aqui eu quero tê-lo no S3 em vez do host. Mesmo que eu tenha que fazer isso uma ou duas vezes no dia, tudo bem.
mas não quero exportar TB completo todos os dias
Existe alguma maneira
Você não pode fazer isso.
Nenhum RDBMS permite que você mantenha os dados no S3. O S3 é apenas um armazenamento de objetos da Internet, cada acesso precisa que você baixe o objeto INTEIRO usando uma API específica. Só é prático se o objeto for pequeno o suficiente para carregar uma vez e caber na memória, por exemplo, algo tão pequeno quanto sqlite que permite que você carregue na memória e pouca ou nenhuma alteração no objeto.
"Mudanças de dados RDB de replicação para S3"? Mesmo alguns RDBMS "inventam" esses recursos malucos para usar o upload de várias partes do S3, sua empresa receberá ENORMES contas de download do S3 e da AWS no grande número de solicitações PUT/LIST/GET.
Prepare-se para construir um Data-mart/data warehouse, crie lógica de agregação (trigger, proc para preparar alguma agregação) para sua operação RBDMS, porque não há balas de prata para solicitação massiva de dados analíticos.