Antecedentes:
Precisamos de acesso imediato a 30 TB de dados de áudio, embora apenas uma pequena fração seja solicitada para reprodução, essa reprodução precisa ser feita imediatamente, mesmo para dados de vários anos. Os dados residem em uma SAN de vários arrays e um backup noturno é realizado em novos dados. Alguns dados também são removidos todas as noites. Como ambos são eventos de gravação, chame 20 GB por noite. A tendência geral é que mais dados novos sejam gravados do que dados antigos sejam removidos.
Weekly Patrol Reads(PR) e Consistancy Checking(CC) são responsáveis pela maior parte da atividade de disco nos arrays, além de apenas girarem até falharem.
Pergunta:
Estou tentando descobrir se a SAN baseada em disco deve ser substituída por uma usando NVMe, qual nível de RAID considerar e se faz sentido reduzir a frequência da atividade PR ou CC para a tecnologia VNAND?
É meu entendimento, o que mata o VNAND são as gravações, e estaríamos gravando muito menos dados do que o mínimo diário na maioria das unidades, mesmo considerando a verificação de consistência.
Não encontrei quase nenhum teste de RAID 5/6 no NVMe ou mesmo SSD em geral. Estou atrás principalmente de disponibilidade de longo prazo.
Pesquisa:
A maioria das outras perguntas sobre este tópico são anteriores à tecnologia NVMe e têm entre 6 e 7 anos. Este é uma exceção, mas também não cobre esse cenário.
Entendendo os requisitos de armazenamento e hardware do NVMe
Relacionado:
Armazenamento de longo prazo de dados críticos de negócios Arquivamento de
longo prazo de arquivos de vídeo e áudio
One Year Raid 0 setup
Ao usar SSDs sobre HDDs, você obterá algum benefício de energia e provavelmente terá um benefício de confiabilidade (os SSDs de nível empresarial são muito mais confiáveis do que os HDDs de nível empresarial). Não há problema com a resistência nand, especialmente no nível de atividades que você tem e mesmo em níveis mais altos, a resistência não é um problema real. Você provavelmente também pode optar por unidades otimizadas para leitura relativamente mais baratas (com 0,3 DWPD) e não se preocupar com a resistência do disco.
A única questão em tal caso de uso é se o custo dos drives garante as vantagens de potência e confiabilidade.
Quanto à confiabilidade/disponibilidade, todos os SSDs de nível empresarial que vi anunciam MTBF de 2 milhões de horas e aqueles com quem trabalhei ultrapassaram essa marca. O lado oposto é que todos os HDDs de nível empresarial reivindicam 1,2 milhão de horas de MTBF e nenhum chegou nem na metade do caminho, então você verá um grande salto de confiabilidade com a mudança. Novamente, se realmente vale a pena pelo custo ou não, é o seu cálculo.
Minha qualificação aqui é que trabalhei em sistemas de armazenamento corporativo envolvendo HDDs e SSDs e trabalhei na integração de hardware/software e estive profundamente envolvido na confiabilidade dos sistemas combinados. Os conjuntos de dados em que confiei são privados, portanto, não há pesquisas abertas que eu possa apontar.
O desvanecimento das cargas elétricas também mata o NAND. Provavelmente muito lentamente em um bom estado sólido, mas perceptível após o tempo. Bem diferente dos fusos magnéticos que armazenam dados por 10 anos ou mais. Se eles girarem novamente, isso é.
Pesquise dados de confiabilidade em função de bytes gravados, horas girando e outras métricas. Especificações do fornecedor, bem como quaisquer conjuntos de dados públicos. Substitua as unidades sempre que apresentarem desgaste. Especialmente perto do fim de sua garantia, talvez 3 anos de idade.
Use mídia diferente para seus backups dos dados online. Se o armazenamento primário for de estado sólido, use fita ou fusos magnéticos para o armazenamento de proteção.
Reavalie a mídia de arquivo pelo menos a cada 10 anos. Transfira backups antigos de que você gosta para qualquer que seja a mídia de proteção atual.
Ser um bom arquivista não é específico do tipo de mídia ou esquema de redundância, o armazenamento evolui com o tempo. Não há uma resposta aqui, mesmo para requisitos semelhantes de desempenho, disponibilidade e custo.
O armazenamento flash ainda é muito novo para que haja bons estudos em escala sobre a longevidade de longo prazo. Até agora, as indicações de flash SLC e MLC parecem boas e parecem dar a você uma longevidade tão boa ou melhor quanto a ferrugem giratória. O flash TLC e especialmente o QLC é muito novo para fazer previsões qualificadas, mas pode-se razoavelmente esperar que forneça uma longevidade pior do que o flash SLC e MLC. Pessoalmente, eu não mudaria de spinners para flash por motivos de longevidade, mas possivelmente por outros motivos, como desempenho. Em vez disso, examinaria os recursos de integridade do sistema de gerenciamento de armazenamento e garantiria que ele pudesse lidar adequadamente com dados parcialmente perdidos ou corrompidos. O ZFS é possivelmente o líder nesse aspecto.