symcbean's questions

Um dos destinos para os quais envio e-mails possui características de desempenho incomuns. A fila ativa pode ficar cheia de mensagens para este domínio, bloqueando o envio para outros domínios. Quero limitar o número de slots na fila ativa usada por este domínio.

Como medida temporária, o tráfego para este domínio é roteado através de um relé dedicado onde defino:

default_recipient_refill_limit=50
default_recipient_limit=1000

O limite superior do tamanho da fila ativa ainda é o padrão 20.000. Depois de alterar main.cf conforme acima, executei um postfix checke systemctl reload postfix. Os logs mostram o evento de recarga.

Porém, meu monitoramento mostra que algumas horas depois, a fila Ativa saltou para 20.000 em uma janela de 2 minutos. ou seja, nem a taxa nem o limite máximo para as mensagens parecem ter sido aplicados. Permaneceu em 20.000 por vários minutos.

O monitoramento é feito por check_MK - e embora eu possa facilmente acreditar que ele poderia estar relatando uma contagem da fila de entrada e da fila ativa, o platô em 20.000 sugere o contrário.

O que estou perdendo aqui? / Como posso limitar o número ou a rapidez com que as mensagens são movidas de recebidas para ativas?

(Preciso de uma solução que possa implementar usando transporte personalizado, para poder mover o tráfego de volta através da retransmissão compartilhada).

Este é o Postfix 2.10 rodando no Amazon Linux 2, não há listas de distribuição configuradas no MTA que seriam expandidas na fila ativa. Observe que NÃO estou perguntando como entregar e-mails para este domínio com mais rapidez - estou perguntando como limitar o número de mensagens associadas na fila ativa.

Estou tentando rolar minha própria configuração vhost para lidar com certbot/letsencrypt. Desejo redirecionar qualquer coisa que não seja solicitações para /.well-known para HTTPS. Mas a exceção para .well-known não está funcionando; solicitações para http://www.example.com/.well-known/ retornam um redirecionamento 301 para https. Eu anonimizei o nome do host no código abaixo.

Observe que me deparei com esta postagem / resposta antes de postar aqui - e a resposta aceita lá descreve (acredito) a primeira das configurações que tentei abaixo - o que me faz pensar que não é uma duplicata.

<VirtualHost *:80>
    DocumentRoot "/var/www/html"
    ServerName www.example.com

    RewriteEngine on
    RewriteCond %{HTTPS} !=on
    # RewriteRule ^(\.well-known) - [END]
    RewriteCond %{REQUEST_URI} !^\.well-known
    RewriteRule ^ https://%{SERVER_NAME}%{REQUEST_URI} [END,NE,R=permanent]

    # additional auth config elsewhere, hence....
    <Location /.well-known/ >
        Require all granted
    </Location>
</VirtualHost>

Conforme indicado pela linha comentada acima, também tentei:

    RewriteRule ^(\.well-known) - [END]
    # RewriteCond %{REQUEST_URI} !^\.well-known
    RewriteRule ^ https://%{SERVER_NAME}%{REQUEST_URI} [END,NE,R=permanent]

Não há nenhum arquivo .htaccess no caminho, mas só para ter certeza, desativei todas as instruções de reescrita e obtive respostas HTTP 200 para /.well-known/ e outras solicitações. Estou testando usando curl -Io cache do navegador de 301 não é uma consideração. Após cada alteração, executei uma reinicialização completa do httpd, não apenas uma recarga.

Este é httpd-tools-2.4.6-99 no Centos 7.

Como posso substituir um redirecionamento padrão?

Estou procurando replicar alguns de meus backups no armazenamento e estou tentando investigar como fazer isso com o mínimo de E/S e tráfego de rede. Isso tem alguma influência sobre o hardware que eu preciso comprar - então ainda não posso experimentar realizando transferências reais. No entanto, tenho uma série de backups completos no armazenamento primário que posso comparar (mas não substituir).

Existe uma maneira de executar o rsync de forma que ele relate a quantidade de dados que teria transferido sem realmente gravar os dados?

Provavelmente estou perdendo algo óbvio - mas não sei o que é. E esta é provavelmente uma duplicata; Eu li centenas de perguntas aqui sobre reescritas do nginx - mas elas não parecem corresponder ao meu caso de uso.

O problema que estou tentando resolver é implementar uma solução alternativa para o CAS em que o aplicativo cliente informa ao CAS que a URL de retorno é HTTP quando na verdade é HTTPS. O lado do servidor estava conseguindo desembaraçar isso até que o Google decidiu lançar a v87, que fica chateada com os redirecionamentos https->http. Estou, portanto, tentando alterar a URL enviada ao CAS. Eu quero substituir "http" por "https" na consulta, por exemplo

https://cas.example.com/cas/login?service=http:%2F%2Fapp.example.com/

should be re-written as

https://cas.example.com/cas/login?service=https:%2F%2Fapp.example.com/

Aqui está minha configuração

location / {
            ## this one works....
            # rewrite /foo/(.*) /$1 break;

            ## these don't....
            # rewrite ^([^\?]+)\?service=http:(.*)$ $1?service=https:$2 break;
            # rewrite ^([^\?]+)\?service=http%(.*)$ $1?service=https%$2 break;
            rewrite /(.*)vice=http:(.*) /$1vice=https:$2 break;
            rewrite /(.*)vice=http%(.*) /$1vice=https%$2 break;
            rewrite /(.*)vice=http(.*) /colin.bip?f=$1vice=other$2 break;
            rewrite /(.*)foo(.*) /$1bar$2 break;

(não há outros blocos de localização neste servidor).

Quando digo que os outros não funcionam, quero dizer que a URL não é alterada.

Os regexes parecem analisar a URL corretamente quando eu os testo em uma implementação PCRE separada, mas não parecem estar disparando na minha configuração do nginx.

ATUALIZADO Eu habilitei o log de reescrita - e as reescritas parecem ignorar a parte da consulta?

 *1 "/(.*)foo(.*)" does not match "/url.php", client: 10.1.1.7, server: example.com, request: "GET /url.php?q=foo&service=http://hello HTTP/1.1"

Posso convencer o nginx a reescrever a consulta também?

Quero replicar na região de 10 TB de dados ( muitos arquivos pequenos, baixo nível de rotatividade) em uma WAN com impacto mínimo na infraestrutura disponível.

Embora eu possa simplesmente usar o rsync, isso significa procurar as alterações e comparar os dados locais e remotos (E/S de disco, largura de banda de rede e custos de CPU), embora o rsync faça isso com eficiência, gostaria de saber se existe uma solução mais eficiente que pode rastrear alterações e propagá-los (de preferência bidirecionalmente).

O armazenamento em si é iSCSI em dispositivos HP NAS. Examinamos anteriormente o uso de seus recursos de replicação integrados, mas descobrimos que eles são lentos e não confiáveis.

Os espelhos DRBD exigiriam hardware adicional em ambas as extremidades. O que seria bastante caro. Eu também fui mordido por falhas de replicação DRBD no passado.

Glusterfs seria mais eficiente? Seria realmente estúpido ir com uma configuração de 2 nós? Existe uma solução melhor?

Estou tentando configurar o awstats (v7.6 do repositório no Ubuntu 18.04) para processar arquivos de log postfix. Mas eu não tenho muitos dados de log para trabalhar. O awstats está relatando que processou os dados e o resumo mostra o número esperado de mensagens e o tamanho cumulativo, mas os detalhes (e eu preciso especificamente de uma lista de remetentes) estão em branco.

As partes relevantes da configuração:

LogFile="/usr/local/bin/maillogconvert.pl standard </var/log/mail.log.1 |"
LogType=M
LogFormat="%time2 %email %email_r %host %host_r %method %url %code %bytesd"
ValidSMTPCodes="1 250"
ShowEMailSenders=HBML
ShowEMailReceivers=HBML
ShowSMTPErrorsStats=1
MaxNbOfDomain = 10
MinHitDomain  = 1
MaxNbOfEMailsShown = 200
MinHitEMail   = 1

Nas páginas de resumo e detalhes, o Awstats mostra uma contagem de 0 para remetentes e destinatários/nenhuma conta listada.

Isso parece ser um problema de exibição, pois o arquivo de dados contém os detalhes esperados:

BEGIN_EMAILSENDER 1
[email protected] 20 29105 20200430151927
END_EMAILSENDER

O HTML está sendo gerado dinamicamente, não os relatórios salvos. Os dados no extrato acima foram anonimizados.

Estou construindo um servidor solr (no Ubuntu 18.04, usando o repositório solr-common e solr-jetty). Na inicialização, o solr estava relatando que nfile e nproc (1024, 6721 resp) estavam muito baixos. Eu corri systemctl edit solre criei uma substituição da seguinte forma:

[Service]
LimitNOFILE=65000
LimitNPROC=65000

Em seguida, reiniciei o serviço - o solr ainda relata o mesmo problema.

Eu adicionei /etc/security/limits.d/solr contendo:

solr hard nofile 65535
solr soft nofile 65535
solr hard nproc 65535
solr soft nproc 65535

Ele ainda está relatando o mesmo problema após reiniciar o serviço:

# systemctl status solr
● solr.service - LSB: Controls Apache Solr as a Service
   Loaded: loaded (/etc/init.d/solr; generated)
  Drop-In: /etc/systemd/system/solr.service.d
           └─override.conf
   Active: active (exited) since Mon 2020-03-30 14:55:49 BST; 6s ago
     Docs: man:systemd-sysv-generator(8)
  Process: 6848 ExecStop=/etc/init.d/solr stop (code=exited, status=0/SUCCESS)
  Process: 6973 ExecStart=/etc/init.d/solr start (code=exited, status=0/SUCCESS)

Mar 30 14:55:43 dev-a01-si-solr.bip solr[6973]: *** [WARN] *** Your open file limit is currently 1024.
Mar 30 14:55:43 dev-a01-si-solr.bip solr[6973]:  It should be set to 65000 to avoid operational disruption.
Mar 30 14:55:43 dev-a01-si-solr.bip solr[6973]:  If you no longer wish to see this warning, set SOLR_ULIMIT_CHECKS to false in your profile or solr.in.sh
Mar 30 14:55:43 dev-a01-si-solr.bip solr[6973]: *** [WARN] ***  Your Max Processes Limit is currently 6721.
Mar 30 14:55:43 dev-a01-si-solr.bip solr[6973]:  It should be set to 65000 to avoid operational disruption.
Mar 30 14:55:43 dev-a01-si-solr.bip solr[6973]:  If you no longer wish to see this warning, set SOLR_ULIMIT_CHECKS to false in your profile or solr.in.sh
Mar 30 14:55:49 dev-a01-si-solr.bip solr[6973]: [194B blob data]
Mar 30 14:55:49 dev-a01-si-solr.bip solr[6973]: Started Solr server on port 8983 (pid=7045). Happy searching!
Mar 30 14:55:49 dev-a01-si-solr.bip solr[6973]: [14B blob data]
Mar 30 14:55:49 dev-a01-si-solr.bip systemd[1]: Started LSB: Controls Apache Solr as a Service.

O que eu estou fazendo errado aqui?

update Após alterar /etc/systemd/system.conf para conter...

DefaultLimitNOFILE=65000
DefaultLimitNPROC=65000

O Solr não está mais reclamando do limite de arquivos, mas continua reclamando do limite do processo. WTF Pottering?

  Drop-In: /etc/systemd/system/solr.service.d
           └─override.conf
   Active: active (exited) since Mon 2020-03-30 15:21:59 BST; 14s ago
     Docs: man:systemd-sysv-generator(8)
  Process: 1141 ExecStart=/etc/init.d/solr start (code=exited, status=0/SUCCESS)

Mar 30 15:21:51 dev-a01-si-solr.bip solr[1141]:  If you no longer wish to see this warning, set SOLR_ULIMIT_CHECKS to false in your profile or solr.in.sh
Mar 30 15:21:51 dev-a01-si-solr.bip solr[1141]: *** [WARN] ***  Your Max Processes Limit is currently 6721.
Mar 30 15:21:51 dev-a01-si-solr.bip solr[1141]:  It should be set to 65000 to avoid operational disruption.
Mar 30 15:21:51 dev-a01-si-solr.bip solr[1141]:  If you no longer wish to see this warning, set SOLR_ULIMIT_CHECKS to false in your profile or solr.in.sh
Mar 30 15:21:51 dev-a01-si-solr.bip solr[1141]: Warning: Available entropy is low. As a result, use of the UUIDField, SSL, or any other features that require
Mar 30 15:21:51 dev-a01-si-solr.bip solr[1141]: RNG might not work properly. To check for the amount of available entropy, use 'cat /proc/sys/kernel/random/entropy_avail'.
Mar 30 15:21:59 dev-a01-si-solr.bip solr[1141]: [230B blob data]
Mar 30 15:21:59 dev-a01-si-solr.bip solr[1141]: Started Solr server on port 8983 (pid=1459). Happy searching!
Mar 30 15:21:59 dev-a01-si-solr.bip solr[1141]: [14B blob data]
Mar 30 15:21:59 dev-a01-si-solr.bip systemd[1]: Started LSB: Controls Apache Solr as a Service.

Alterar user.conf para corresponder não ajudou.

Atualização 2 Bem, isso está ficando cada vez melhor. O desaparecimento do aviso nfile veio após uma reinicialização do host. Quando eu executo posteriormente systemctl restart solr, recebo isso:

Mar 30 15:39:21 dev-a01-si-solr.bip solr[2503]: *** [WARN] *** Your open file limit is currently 1024.
Mar 30 15:39:21 dev-a01-si-solr.bip solr[2503]:  It should be set to 65000 to avoid operational disruption.

FF!

Agora, onde eu coloquei aquele CD do Centos 5?

Atualização 3

Acontece que este não era mais o solr empacotado. Sem o meu conhecimento, alguém teve problemas para fazer a compilação original funcionar e encontrou um tutorial na internet sobre como instalar a partir do tarball. Então agora eu tenho um sistema com meio tarball/meio repo solr que não podemos corrigir/atualizar.

Eu tenho um cluster VMWare de 2 nós (simplicidade) no qual estou planejando fazer alguma manutenção de hardware (ou seja, desligá-los). Portanto, gostaria de desligar de forma limpa os convidados da VM e, posteriormente, trazê-los de volta. Existem alguns convidados em execução (~ 200), portanto, fazer isso manualmente via vsphere levará muito tempo. Isso é um pouco composto por dependências na inicialização que exigem que a inicialização seja ordenada. Portanto, espero fazer isso através da linha de comando usando ....

vim-cmd vmcsv/power.shutdown <vmid>
...
vim-cmd vmcsv/power.on <vmid>

Eu executei um caso de teste de parar e iniciar uma VM. Por meio da CLI, funcionou muito bem, mas quando tentei iniciar a VM via vsphere, a VMware decidiu iniciá-la no outro nó em que estava sendo executado anteriormente e atribuiu a ela um novo vmid .

Embora eu possa identificar os vmids quando as VMs estiverem em execução, o que acontecerá depois que eu reiniciar os hosts ESX? Os vmids que capturei anteriormente ainda farão referência às VMs? Ou preciso encontrar uma maneira diferente de identificar VMs e iniciá-las?

(Eu perguntaria à HPE - mas seus conselhos nas últimas 3 vezes em que entrei em contato com eles foram desastrosamente errados)

Estou tentando usar o openfortivpn para conectar. Anteriormente, eu usava o cliente Fortinet VPN no MS-Windows - agora recebo telas azuis toda vez que tento iniciá-lo (estou baixando a versão atualizada, mas quero configurar isso no Linux por outros motivos).

A infraestrutura à qual estou me conectando tem muitas sub-redes, algumas das quais entram em conflito com minhas sub-redes locais. Portanto, com as configurações padrão (--set-routes=1), ele substitui minhas rotas locais e a caixa se desconecta da rede local. As opções de linha de comando parecem permitir tudo ou nada.

Consegui capturar a configuração que estava sendo aplicada quando inicializou e configurou as rotas automaticamente. Escolher as entradas relevantes e tentar aplicá-las (depois de reiniciar a VPN com --no-routes e anotar manualmente o endereço IP) resultou em uma conexão funcional.

ip route add to 10.0.99.0/255.255.255.0 via 10.220.136.94 dev ppp0

Mas o endereço local mudará cada vez que eu me conectar; Não posso usar isso como um valor literal no script.

como faço para que isso aconteça automaticamente?

A página man do openfortivpn menciona algumas variáveis ​​de ambiente que controlam o roteamento - mas digitando

 "VPN_ROUTE_GATEWAY" openfortivpn

no Google apenas me fornece links para o código-fonte do openfortivpn (e meu conhecimento de C está muito enferrujado para fazer engenharia reversa disso).

Eu tenho o nginx rodando como um proxy reverso. Atualmente, isso está fornecendo apenas terminação SSL centralizada e conectividade com a Internet. Eu quero habilitar o cache para conteúdo estático.

A configuração de um host virtual no proxy se parece com ....

server {
   listen 443 ssl http2;
   server_name www.example.com;
   ...
   location / {
       include snippets/proxydefaults.conf;
       proxy_pass http://www.example.com.origin/;
   }
}

Não estou confiante de que o cache nos servidores de origem esteja configurado corretamente, portanto, só quero armazenar em cache coisas que sei que são arquivos estáticos. Se eu aninhar a configuração de cache, preciso repetir a configuração para aplicar o proxy ou isso é herdado do local pai....

server {
   listen 443 ssl http2;
   server_name www.example.com;
   ...
   location / {
       include snippets/proxydefaults.conf;
       proxy_pass http://www.example.com.origin/;
       location ~* \.(gif|png|jpg|jpeg|js|css)$ {
           proxy_cache default_cache;
           # do I need to explicitly add another proxy_pass directive here?
       }
   }
}

Eu sou um novato em exim - e herdei um sistema executando o exim que está se comportando mal.

Minha instância parou de enviar e-mails. Ele está aceitando mensagens na fila e está sendo executado com -q1h- a cada hora, para cada mensagem na fila, ele relata...

defer (-53): retry time not reached for any host

Ele está configurado para usar um host inteligente altamente disponível - portanto, isso não é um problema com o MTA remoto. De fato, executando exim -va partir da linha de comando para enviar um e-mail, ele é transmitido imediatamente para o módulo lógico. ou seja, não há problema com o roteamento, autenticação, disponibilidade. O Exim simplesmente não está tentando encaminhar esses e-mails.

Eu vejo muitas e MUITAS pessoas dizendo que a maneira de corrigir isso é redefinir o banco de dados de repetição, excluindo apenas os arquivos de bloqueio ou os lockfles e o banco de dados de repetição. Nenhum dos métodos teve qualquer impacto no meu mailq.

NB isto não é uma nova tentativa após uma falha - o exim nunca tentou passar a mensagem.

A configuração de repetição é conforme o padrão:

begin retry
* * F,2h,15m; G16h,1h,1.5; F,4d,6h

Imagino que -q1hseja por isso que ele não tenta transmitir a mensagem imediatamente. Mas por que não está pegando mensagens da fila?

Como isso está sendo transferido para um relé inteligente, não preciso fazer backup das mensagens por uma hora. Se eu remover o -q1h das opções, o exim continuará verificando a fila regularmente ou simplesmente o ignorará?

Recentemente, atualizei do Tomcat 8.0 para 8.5

Desde a atualização, os hosts de outras sub-redes obtêm uma resposta 400 às solicitações, mas na mesma sub-rede o aplicativo é executado sem erros (!)

127.0.0.1 - - [06/Feb/2019:09:17:58 +0000] "GET /app/login.jsf HTTP/1.1" 200 5976
...
10.60.255.86 - - [06/Feb/2019:10:24:19 +0000] "GET /app/login.jsf HTTP/1.1" 400 –
...
fe80:0:0:0:e85f:958:813c:dee%12 - - [06/Feb/2019:10:25:53 +0000] "GET /app/login.jsf HTTP/1.1" 200 5975
...

(o endereço IPv6 é a máquina local)

Não há configurações de RemoteIpValve em server.xml, não há RemoteAddrValve em context.xml.

Onde mais eu deveria estar procurando? Este é um comportamento padrão?

Tendo usado anteriormente o MySQL bastante extensivamente no Linux, eu estava bastante confiante de que obter a configuração do MariaDB (10.0.31) nesta caixa Mint 18.1 (Ubuntu) seria bastante fácil. E a instalação foi exatamente isso.

Mas, curiosamente, agora parece saber quando estou mentindo sobre quem sou. Anteriormente com MySQL em Redhat, Suse, PCLinixOS... eu poderia fazer login no mysqld que foi configurado com uma senha em branco para root@localhost (ou seja, usando o soquete AF_UNIX) afirmando que eu era root, mas isso não funcionou no meu Mint /MariaDB:

 symcbean@animal ~ $ mysql -u root
 ERROR 1698 (28000): Access denied for user 'root'@'localhost'

Mas isso funciona se eu 'su':

 symcbean@animal /etc $ su
 Password: 
 animal etc # mysql
 Welcome to the MariaDB monitor.  Commands end with ; or \g.
 Your MariaDB connection id is 47
 Server version: 10.0.31-MariaDB-0ubuntu0.16.04.2 Ubuntu 16.04

 Copyright (c) 2000, 2017, Oracle, MariaDB Corporation Ab and others.

 Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

 MariaDB [(none)]> select current_user;
 +----------------+
 | current_user   |
 +----------------+
 | root@localhost |
 +----------------+
 1 row in set (0.00 sec)

(mesmo com mysql -u root, mysql -u root -h localhost).

Meu usuário não root tem permissões no arquivo de soquete:

 symcbean@animal ~ $ ls -l /var/run/mysqld/mysqld.sock 
 srwxrwxrwx 1 mysql mysql 0 Nov 29 20:46 /var/run/mysqld/mysqld.sock

Meu usuário root não tem um ~/my.conf ou ~/.my.cnf para armazenar uma senha.

Não tenho o hábito de executar sistemas inseguros - mas estou intrigado com essa aparente mudança de comportamento. O servidor realmente valida o uid do cliente?

Atualmente, estou fazendo alguns benchmarks no serviço DNS no meu local de trabalho. Uma das maiores anomalias que isso está gerando é um número significativo de domínios onde, em alguns casos, a pesquisa está retornando uma resposta NXDOMAIN, enquanto em outros estou obtendo uma resposta válida para uma pesquisa MX.

(Os domínios em questão são externos)

Embora seja possível que isso se deva a uma diferença na configuração entre um par de servidores autoritativos, percebi que não sei qual resposta esperar quando tento resolver um domínio sem registros cola. (links para fontes autorizadas seriam apreciados).

Tenho muitos servidores que acessam vários serviços da Web externos, a maioria dos quais usa SSL, alguns dos quais exigem certificados de cliente. Gostaria de centralizar a configuração dos certificados do cliente e dissociar a camada de apresentação dos servidores subjacentes.

Embora eu possa usar o Squid para fazer proxy das solicitações, não consigo ver nos documentos como dizer ao Squid para selecionar um certificado de cliente específico para o serviço da web de destino. Isso é possível?

Uma abordagem seria manter uma gangue de instâncias de stunnel além do proxy Squid e, em seguida, configurar o software cliente para usar solicitações http com um reescritor de URL para rotear a solicitação por meio da instância de stunnel apropriada; no entanto, isso será interrompido se eu obtiver uma referência de resposta XML um HTTPS DTD (a menos que eu reescreva o conteúdo com um MITM completo).

Existe outra solução?

atualizar

O problema de reescrever 'https' para 'http' é que ele quebra todos os recursos adicionais com um URI http - já que o adaptador de protocolo os converterá de volta para https!

Encontrei este artigo que abordava o problema de adicionar um certificado de cliente a uma conexão proxy - o que é potencialmente uma solução. Mas requer que o cliente seja configurado para usar um proxy, também há problemas em nomear coisas e como fazê-lo funcionar com DNS dividido. Reconheço que não são grandes problemas, mas isso me fez pensar que o que estou descrevendo aqui é o padrão usado pela maioria dos provedores de CDN - portanto, atualmente estou pensando em usar o Apache Traffic Server como componente intermediário - isso permite o uso de DNS dividido, canais SSL separados entre o cliente e a origem, e certificados de cliente para a comunicação com o servidor de origem.