Tenho uma rede com servidores Live, User Acceptance, staging e desenvolvimento (neste caso windows principalmente 2012r2, todos convidados Hyper-V). Cada uma dessas partes da rede tem um servidor front-end e back-end. Os servidores de back-end contêm grandes quantidades de dados proporcionalmente. Nos servidores de aceitação do usuário, teste e desenvolvimento, esses dados não mudam (além da atualização ocasional da live) e raramente são acessados fora do ciclo de desenvolvimento.
Nesse tipo de ambiente, como minimizar o consumo de armazenamento e evitar o desperdício de espaço de armazenamento em dados estáticos e raramente acessados. Os dados consistem em milhares de arquivos como pdf, json, dwgs e pngs.
Coisas que eu considerei.
Excluir servidores enquanto não estiver em uso - Não é uma ótima opção, pois às vezes o tempo para restaurar esses servidores pesa o tempo que os desenvolvedores os usarão. Nossa solução de backup é o gerenciador de proteção de dados MS.
Excluindo discos de dados enquanto não estiver em uso - Um pouco melhor do que acima, mas novamente o tempo é um fator.
Movendo discos de dados entre servidores - Como eles são convidados do Hyper-V, eu poderia apenas anexar os discos de dados conforme necessário, no entanto, há momentos em que mais de um ambiente está em uso ao mesmo tempo.
Você pode querer verificar alguns servidores de arquivos híbridos, um descarregando dados frios para a nuvem pública onde o armazenamento é barato (S3) ou quase gratuito (Glacier). Se você tiver um contrato Enterprise no Azure, talvez queira experimentar o StorSimple da Microsoft, tanto físico quanto virtual.
https://azure.microsoft.com/en-us/services/storsimple/
Nasuni também é bom, mas não tem SMB3 confiável até agora.
https://www.nasuni.com
Existem muitas soluções interessantes no mercado, não experimentei o Nasuni, mas parece adequado. Além disso, você pode dar uma olhada no Aclouda, que pode ser usado como um gateway de hardware e apresentar o armazenamento em nuvem como uma unidade local e descarregar dados na nuvem automaticamente. Ele pode ser instalado em um servidor local como unidade SATA/SAS com conectividade com a nuvem Amazon ou Azure. http://aclouda.com/
Como você tem uma quantidade considerável de dados que não mudam muito com o tempo, eu recomendo que você implemente algum tipo de tiering (Espaços de Armazenamento com tiering automatizado devem caber). A ideia é que a camada "quente", que é o armazenamento local, contenha os dados mais recentes que devem ser acessados rapidamente e a camada "fria" possa ser descarregada para a nuvem.
A ideia não é nova - Nasuni https://www.nasuni.com/ faz coisas muito semelhantes a essa abordagem. Uma opção DIY é S3Fuse https://www.interserver.net/tips/kb/mount-s3-bucket-centos-ubuntu-using-s3fs/ que permite montar um armazenamento em nuvem como uma unidade local. StorSimple https://azure.microsoft.com/en-us/services/storsimple/ é outra opção, mas está estritamente vinculado ao Azure.
Se você não estiver disposto a instalar/configurar e manter qualquer software adicional, você pode usar um gateway de hardware como o AcloudA http://aclouda.com/ que fará o trabalho sem exigir nenhum software ou drivers adicionais.
Como seus convidados são o Windows 2012 R2, você pode executar a desduplicação dentro da VM. Exceto pelo rastreamento inicial, descobri que não consome muitos recursos. Nas lojas de documentos, minhas economias foram de 55% ou mais.
Se seu armazenamento estiver em um servidor Windows (espaços de armazenamento e similares), você poderá desduplicar seu armazenamento VHD. Usar a opção VDI ao configurar a desduplicação em um volume ativa a desduplicação de VHDs abertos. Consulte https://technet.microsoft.com/en-us/library/dn486808.aspx