Estamos usando discos de 15 TB em nossos servidores RHEL 8.6 Linux. Esses discos são para o sistema de arquivos HDFS. Em comparação com outros discos, como 4 TB ou 8 TB, notamos alguma degradação nos logs do nó de dados. Verificamos vários aspectos para entender a diferença entre clusters Hadoop que usam discos de 4 TB ou 8 TB e o cluster Hadoop mais recente com discos de 16 TB. Após pesquisar no Google, notamos que o sistema de arquivos criado nos discos é ext4. Gostaria de saber se o ext4 pode ser usado em discos grandes, como 15 TB. Então, minha pergunta é: o ext4 suporta discos muito grandes, como 15 TB, ou é melhor usar o XFS em discos de 15 TB?
AskOverflow.Dev
O tamanho máximo suportado pelo sistema de arquivos ext4 é 1000 TB. Portanto, o problema não está aÃ.
Se você mantém muitos arquivos pequenos e muitos diretórios no HDFS, isso pode ser um desafio para o ext4, e o XFS é melhor nesse sentido. Por muitos, quero dizer mais de 10 milhões de arquivos e 100 mil diretórios (em duas ou mais camadas).
Se você mantém arquivos grandes (maiores que 1 GB) no HDFS, o XFS também é uma escolha melhor.
Na minha humilde opinião, a grande diferença entre 4/8 TB e 16 TB é que você pode criar/armazenar muito mais arquivos em discos maiores e chegar a um certo gargalo.