Xeoncross's questions

Eu gostaria de usar alguma forma de limitação de taxa 1) novas conexões TCP e 2) solicitações em uma conexão existente para HTTP(S). Provavelmente lidarei com o nº 2 com nginx ou HAProxy (porque tenho mais informações sobre o histórico do usuário lá).

No entanto, gostaria de evitar DoS (não DDos) com IPtables e economizar HAProxy ou Nginx alguma carga lidando com novas conexões TCP. Parece que o IPTables seria mais adequado para este trabalho.

# Allow unlimited 80 traffic from our own network (duplicate this line for other local subnets)
# 192.168.16.0 - 192.168.16.255
-A INPUT -p tcp --dport 80 -s 192.168.1.0/24 -j ACCEPT

# Simple, single-IP DoS protection 
# Per-minute: Allow up to 200 new connections (packets) from an IP before rate-limiting to 50 packets is applied
# This could need to be an ISP, company, or college where 200 clients all connected from a single IP gateway
# in 1 minute and started using your service. After that first minute 50 more can join every minute.
-A INPUT -p tcp --dport 80 -m state --state NEW -m limit --limit 50/minute --limit-burst 200 -j ACCEPT
-A INPUT -p tcp --dport 443 -m state --state NEW -m limit --limit 50/minute --limit-burst 200 -j ACCEPT

Essa é uma boa ideia ou devo apenas fazer os dois tipos de limitação de taxa (novo/estabelecido) no nível nginx ou HAproxy?

(Observação: não tenho acesso a um firewall de hardware real projetado para lidar com isso)

Estou pensando em criar um aplicativo que leia meus diferentes arquivos de log do servidor, salve os dados analisados ​​em um banco de dados e remova a linha do arquivo de log.

Este é o meu lado do programador tentando pensar em maneiras melhores de obter todos os arquivos de log em um console de aplicativo utilizável/pesquisável do qual posso visualizar vários servidores ao mesmo tempo e scripts de programa para encontrar correlações ou enviar um e-mail/mensagem de texto enquanto estou fora quando algo parece errado.

Parece haver soluções caras para isso já no mercado, mas não posso justificar os altos preços de US$ 500 a US$ 2.000/mês.

De qualquer forma, meu problema é como removo linhas de um arquivo de log gravado ativamente sem causar problemas? Alguns dos arquivos de log são rotacionados (como o nginx), enquanto outros não. Suponho que a coisa mais segura seria copiar o arquivo e depois echo '' > file.logapagá-lo. Eu posso perder 300ms de gravações.

A outra questão é se eu quero apagar os logs. Suponho que não apagar os logs significaria que eu teria que abrir o arquivo, pular para o final e depois retroceder até chegar à última entrada conhecida.

Qual seria uma boa maneira de canalizar dados de log para um aplicativo/banco de dados externo?

Tenho dois servidores na mesma sub-rede.

• 192.168.100.1 (mysql)
• 192.168.100.2 (php)

O MySQL parece estar funcionando bem em sua caixa, mas não consigo me conectar a ele. Estas são caixas ubuntu e iptables e ufw não estão em execução. Os comandos a seguir são todos da própria caixa do MySQL. Nenhum deles funciona na .100.2caixa (php).

meu.cnf

#bind-address           = 127.0.0.1
bind-address = 192.168.100.1

netstat diz que isso é verdade:

[email protected] /etc/mysql $ netstat -plutn
Active Internet connections (only servers)
Proto Recv-Q Send-Q Local Address           Foreign Address         State       PID/Program name
tcp        0      0 0.0.0.0:22              0.0.0.0:*               LISTEN      8583/sshd       
tcp        0      0 192.168.100.1:3306      0.0.0.0:*               LISTEN      30654/mysqld    
tcp        0      0 0.0.0.0:2828            0.0.0.0:*               LISTEN      29946/monit     
tcp        0      0 0.0.0.0:1167            0.0.0.0:*               LISTEN      23175/cdp       
tcp6       0      0 :::22                   :::*                    LISTEN      8583/sshd  

telnet diz que é bom

[email protected] /etc/mysql $ telnet 192.168.100.1 3306
Trying 192.168.100.1...
Connected to 192.168.100.1.
Escape character is '^]'.
[
5.5.40-0ubuntu0.12.04.1&KM~Se$!u??L\hw=gp{<Uvrmysql_native_password

!#08S01Got packets out of orderConnection closed by foreign host.

cliente mysql diz que é bom:

[email protected] /etc/mysql $ mysql -uroot -p
Enter password: 
Welcome to the MySQL monitor.  Commands end with ; or \g.

Quando tento me conectar .100.2, não recebo nada da conexão até o tempo limite:

[email protected] /etc/php5/fpm $ mysql -uroot -p -h 192.168.100.1 --connect-timeout 4
Enter password: 
ERROR 2003 (HY000): Can't connect to MySQL server on '192.168.100.1' (4)

Eu posso ping .100.1da .100.2caixa, embora com tempos de resposta sub ms.

Aqui estão as configurações do MySQL Grant:

mysql> SELECT user,host from mysql.user;
+------------------+--------------+
| user             | host         |
+------------------+--------------+
| root             | 127.0.0.1    |
| root             | 192.168.1.%  |
| root             | 192.168.100.%|
| root             | 192.168.200.%|
| root             | ::1          |
| debian-sys-maint | localhost    |
| example          | localhost    |
| o3backup         | localhost    |
| root             | localhost    |
| root             | voice-mysql  |
+------------------+--------------+
10 rows in set (0.00 sec)

Adicionei uma nova concessão para todos os lugares e o problema persiste.

mysql> show grants for 'root'@'%';
+--------------------------------------------------------------------------------------------------------------+
| Grants for root@%                                                                                            |
+--------------------------------------------------------------------------------------------------------------+
| GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY PASSWORD '...' |
+--------------------------------------------------------------------------------------------------------------+
1 row in set (0.00 sec)

Atualizar

Acontece que o sistema foi de alguma forma bloqueado por alterações feitas nos arquivos do sistema que eu desconhecia. Aparentemente, estava bloqueando certas operações de rede que não são padrão. É honestamente frustrante que as mesmas pessoas que me deram esta caixa tenham esquecido tudo sobre isso. Sinceramente, não tenho ideia do que eles fizeram e nem eles conseguem se lembrar. No entanto, as respostas listadas aqui são o guia de solução de problemas mais completo para pessoas normais. Deve ter sido um desses problemas.

Resumo atualizado

O diretório /var/www é de propriedade, root:rooto que significa que ninguém pode usá-lo e é totalmente inútil. Já que todos nós queremos um servidor web que realmente funcione (e ninguém deve estar logando como "root"), então precisamos corrigir isso.

Apenas duas entidades precisam de acesso.

1. PHP/Perl/Ruby/Python todos precisam de acesso às pastas e arquivos, pois eles criam muitos deles (ou seja, /uploads/). Essas linguagens de script devem ser executadas em nginx ou apache (ou mesmo alguma outra coisa como FastCGI para PHP).

2. Os desenvolvedores

Como eles têm acesso? Eu sei que alguém, em algum lugar, já fez isso antes. No entanto, com muitos bilhões de sites por aí, você pensaria que haveria mais informações sobre esse tópico.

Eu sei que 777 é permissão total de leitura/gravação/execução para proprietário/grupo/outro. Portanto, isso não parece ser necessário , pois fornece permissões totais a usuários aleatórios.

Quais permissões precisam ser usadas /var/wwwpara que:

1. Controle de origem como git ou svn
2. Usuários em um grupo como "sites" ( ou mesmo adicionados a "www-data" )
3. Servidores como apache ou lighthttpd
4. E PHP/Perl/Ruby

todos podem ler, criar e executar arquivos (e diretórios) lá?

Se eu estiver correto, os scripts Ruby e PHP não são "executados" diretamente - mas passados ​​para um interpretador. Portanto, não há necessidade de permissão de execução em arquivos em /var/www...? Portanto, parece que a permissão correta seria o chmod -R 1660que faria

1. todos os arquivos compartilháveis ​​por essas quatro entidades
2. todos os arquivos não executáveis ​​por engano
3. bloquear todos os outros do diretório completamente
4. defina o modo de permissão como "pegajoso" para todos os arquivos futuros

Isso está correto?

Atualização 1: Acabei de perceber que arquivos e diretórios podem precisar de permissões diferentes - eu estava falando sobre arquivos acima, então não tenho certeza de quais seriam as permissões de diretório.

Atualização 2: A estrutura de pastas /var/wwwmuda drasticamente, pois uma das quatro entidades acima está sempre adicionando (e às vezes removendo) pastas e subpastas com muitos níveis de profundidade. Eles também criam e removem arquivos aos quais as outras 3 entidades podem precisar de acesso de leitura/gravação. Portanto, as permissões precisam fazer as quatro coisas acima para arquivos e diretórios. Como nenhum deles deve precisar de permissão de execução (veja a pergunta sobre ruby/php acima), eu diria que essa rw-rw-r--permissão seria tudo o que é necessário e completamente seguro, pois essas quatro entidades são executadas por pessoal confiável (consulte # 2) e todos os outros usuários em o sistema só tem acesso de leitura.

Atualização 3: Isso é para máquinas de desenvolvimento pessoal e servidores de empresas privadas. Não há "clientes da web" aleatórios como um host compartilhado.

Atualização 4: Este artigo do slicehost parece ser o melhor para explicar o que é necessário para configurar permissões para sua pasta www. No entanto, não tenho certeza de qual usuário ou grupo apache/nginx com PHP OU svn/git é executado e como alterá-los.

Atualização 5: Eu (eu acho) finalmente encontrei uma maneira de fazer tudo isso funcionar (resposta abaixo). No entanto, não sei se esta é a maneira correta e segura de fazer isso. Portanto, eu comecei uma recompensa. A pessoa que tiver o melhor método para proteger e gerenciar o diretório www vence.