Estou enfrentando um problema com nosso e-mail do servidor. Ontem, nosso provedor de e-mail ficou fora do ar por mais de 20 horas, impactando gravemente nossas operações comerciais.
Temos aproximadamente 5 TB de e-mails arquivados, que os usuários pesquisam frequentemente em busca de contratos anteriores ou outras informações. Apesar do grande volume, eles fazem questão de guardar todos os emails. A configuração atual está usando postfix/dovecot, usando o formato mdbox.
Recebi a tarefa de melhorar a confiabilidade e o desempenho do servidor. Minhas soluções propostas são:
Separe e-mails novos e antigos: mova e-mails antigos para um armazenamento separado, reduzindo a carga de sincronização no servidor primário.
Implemente alta disponibilidade: adicione um novo servidor de email em um local diferente. Se um servidor falhar, o outro deverá assumir e sincronizar os dados após a recuperação do primeiro servidor.
Apresente um proxy de e-mail: filtre os e-mails recebidos e encaminhe-os para ambos os servidores para redundância.
Aproveite o Amazon S3 para backup: Utilize o bucket S3 existente para armazenar e-mails antigos, alinhando-se com o plano de separação de datas.
Estou pensando em usar o mdbox e o rsync existentes para essas tarefas, porque atualmente estamos usando o mdbox para armazenamento de e-mail e o rsync para fazer backup de todos os arquivos de e-mail e outros arquivos para o armazenamento em nuvem. Então, estou tentando usar os métodos existentes. Mas ainda tenho algumas perguntas:
O rsync simples é suficiente para sincronizar arquivos de email? Poderia criar entradas duplicadas se as mensagens chegassem em momentos diferentes através do proxy?
Como posso separar efetivamente o armazenamento de e-mail por ano usando o mdbox?
Existe uma ferramenta mais eficiente para configurar a replicação Dovecot entre dois servidores de e-mail idênticos?
Não entrei em contato com a tecnologia de correio e agradeceria qualquer recomendação ou informação que você possa fornecer.
Obrigado
Parece que você está lidando com uma situação desafiadora. Melhorar a confiabilidade e o desempenho do servidor, especialmente com um grande volume de e-mails arquivados, requer planejamento e execução cuidadosos. Aqui estão alguns insights e recomendações para as soluções propostas:
Você pode separar e-mails por ano usando a filtragem de peneira ou scripts do Dovecot para mover e-mails anteriores a uma data específica para um local de armazenamento separado. Isso pode ser feito criando um script que verifica periodicamente os carimbos de data e hora dos e-mails e move os e-mails mais antigos para um diretório ou sistema de armazenamento diferente. Gerenciamento de mdbox:
Para gerenciar o mdbox de maneira mais eficaz, considere definir as configurações mdbox_rotate_size e mdbox_rotate_interval do Dovecot para controlar quando e-mails antigos são movidos para o armazenamento secundário. 2. Implementar redundância de servidor de alta disponibilidade:
A alta disponibilidade pode ser alcançada configurando dois servidores com configurações idênticas e habilitando o recurso de replicação integrado do Dovecot. Isso garantirá que os e-mails sejam sincronizados entre os dois servidores. Sincronização:
Utilize a ferramenta dsync do Dovecot para replicação contínua. Geralmente, isso é mais eficiente do que usar o rsync para sincronização em tempo real, pois o dsync foi projetado especificamente para sincronização de dados de email. 3. Apresente uma filtragem e distribuição de e-mail por proxy de correio:
Considere configurar um proxy de e-mail usando software como HAProxy ou Nginx. Essas ferramentas podem distribuir o tráfego de e-mail recebido para ambos os servidores, garantindo redundância. Potencial para duplicação:
Tenha cuidado com a duplicação ao usar o rsync. É crucial gerenciar adequadamente a fila de e-mail para evitar entradas duplicadas. Configurar o proxy de correio para lidar com o gerenciamento de filas e a lógica de desduplicação pode ajudar a mitigar esse problema. 4. Aproveite o Amazon S3 para estratégia de backup:
Usar o Amazon S3 para backup é uma ótima ideia, especialmente para armazenar e-mails mais antigos. Você pode integrar o S3 ao Dovecot usando ferramentas como s3ql ou rclone para sincronizar com eficiência arquivos de email mais antigos com o S3. Considerações sobre Rsync:
Embora o rsync possa ser usado para backups regulares, certifique-se de que ele seja agendado durante períodos de baixo tráfego para minimizar a carga nos servidores. Considere usar os sinalizadores --delete e --archive para backups eficientes sem redundância.