Preciso desenvolver um sistema de produção de servidor SQL do Azure capaz de armazenar recomendações de itens do usuário com base no histórico de compras do usuário, perfil de saúde do usuário e recomendações de itens (cerca de 415 MB). Conheço a produção aproximada em 13 meses, o tempo que os dados devem ser armazenados e calculei uma necessidade de cerca de 30 TB de armazenamento.
Tenho alguma experiência em trabalhar com bancos de dados, mas lidar com essa quantidade de dados é uma novidade para mim.
Minha abordagem inicial seria armazenar esses dados em vários bancos de dados usando sharding, mas não tenho certeza sobre como lidar com a parte de design do aplicativo, onde o aplicativo precisa estar ciente da estratégia de sharding e saber a qual banco de dados (shard) se conectar, por uma determinada operação (em nosso aplicativo, cada usuário é um guia). Também não tenho certeza da complexidade do gerenciamento de vários bancos de dados, do gerenciamento de transações que abrangem vários bancos de dados. Como será a estrutura de custos considerando que no Azure eu pago por banco de dados.
A comunidade teria alguma opinião sobre o meu problema?