Perguntas[monitoring](server)

Estou montando uma solução de monitoramento para diversos servidores utilizando Promtail, Loki e Grafana, seguindo este artigo . Eu tenho uma máquina de monitoramento rodando Loki e Grafana (no Rocky Linux 9.3) e vários servidores Ubuntu rodando Promtail, que coloca logs no Loki. Isso funciona muito bem.

No entanto, a última etapa que eu queria dar era configurar o Promtail também para a máquina de monitoramento. Sigo as etapas acima - etapas que funcionaram em cerca de 20 servidores - e, de repente, continuo recebendo "falha ao localizar o executável":

[root@localhost ~]# systemctl status promtail.service
× promtail.service - Promtail for Loki
     Loaded: loaded (/etc/systemd/system/promtail.service; enabled; preset: disabled)
     Active: failed (Result: exit-code) since Tue 2024-01-09 05:21:23 EST; 5s ago
   Duration: 22ms
    Process: 3633351 ExecStart=/usr/local/bin/promtail-linux-amd64 -config.file /etc/loki/promtail.yaml (code=exited, status=203/EXEC)
   Main PID: 3633351 (code=exited, status=203/EXEC)
        CPU: 21ms

Jan 09 05:21:23 localhost.localdomain systemd[1]: Started Promtail for Loki.
Jan 09 05:21:23 localhost.localdomain systemd[3633351]: promtail.service: Failed to locate executable /usr/local/bin/promtail-linux-amd64: Permission denied
Jan 09 05:21:23 localhost.localdomain systemd[3633351]: promtail.service: Failed at step EXEC spawning /usr/local/bin/promtail-linux-amd64: Permission denied
Jan 09 05:21:23 localhost.localdomain systemd[1]: promtail.service: Main process exited, code=exited, status=203/EXEC
Jan 09 05:21:23 localhost.localdomain systemd[1]: promtail.service: Failed with result 'exit-code'.

Mas o executável está no lugar certo e o proprietário é o usuário do Promtail:

[root@localhost ~]# ls -al /usr/local/bin/
total 165048
drwxr-xr-x+  3 root     root          128 Jan  2 12:35 .
drwxr-xr-x. 12 root     root          131 May 30  2023 ..
-rwxr-xr-x+  1 loki     loki     59424768 May  3  2023 loki-linux-amd64
-rw-r--r--+  1 root     root     18930096 May 31  2023 loki-linux-amd64.zip
-rwxr-xr-x.  1 root     root          233 Nov  6 11:53 normalizer
-rwxrwxr--+  1 promtail promtail 90640576 May  3  2023 promtail-linux-amd64
drwxr-xr-x.  7 root     root         4096 Jan  4 06:47 server_heartbeat

A ACL fica assim:

[root@localhost ~]# getfacl /usr/local/bin/promtail-linux-amd64 
getfacl: Removing leading '/' from absolute path names
# file: usr/local/bin/promtail-linux-amd64
# owner: promtail
# group: promtail
user::rwx
group::r-x
other::r--

O arquivo de serviço especifica promtail como o usuário:

[Unit]

Description=Promtail for Loki

After=network.target

[Service]

Type=simple

User=promtail

ExecStart=/usr/local/bin/promtail-linux-amd64 -config.file /etc/loki/promtail.yaml

Restart=on-abort

NoNewPrivileges=true

PrivateTmp=yes

RestrictNamespaces=uts ipc pid user cgroup

ProtectKernelTunables=yes

ProtectKernelModules=yes

ProtectControlGroups=yes

#ProtectSystem=strict

#PrivateUsers=strict

#CapabilityBoundingSet=CAP_NET_BIND_SERVICE CAP_DAC_READ_SEARCH

[Install]

WantedBy=multi-user.target

o que estou perdendo?

Editar: Seguindo o comentário de @ gerald-schneider, os contextos SELinux relevantes são assim:

[root@localhost ~]# ls -Z /usr/local/bin/promtail-linux-amd64 
unconfined_u:object_r:admin_home_t:s0 /usr/local/bin/promtail-linux-amd64

[root@localhost ~]# ls -Z /etc/loki/promtail.yaml 
unconfined_u:object_r:admin_home_t:s0 /etc/loki/promtail.yaml

[root@localhost ~]# ls -Z /tmp/positions.yaml 
unconfined_u:object_r:user_tmp_t:s0 /tmp/positions.yaml

Alguém pode me esclarecer por que o código a seguir não está sendo executado quando o coloco em command_line para um comando personalizado do Nagios? Funciona quando executo no terminal.

command_name     notify-host-by-sms
commnad_line     echo -e "AT+CMGS="$CONTACTPAGER$"\r" | socat -t3 - TCP:XXX.XXX.XXX.XXX:10002 && echo -e "$HOSTNAME$ $HOSTSTATE$ $HOSTADDRESS$ $LONGDATETIME$\x1A" | socat - TCP:XXX.XXX.XXX.XXX:10002

Estou procurando uma maneira de monitorar os serviços do systemd: coisas básicas, como se estão em execução ou não, são um bom começo (e qualquer outra coisa no topo é um bônus).

Tentei usar o node_exporter, mas como estou executando todos os meus serviços sem raiz (systemctl --user), não os vejo sendo capturados.

Minha pergunta é: como posso monitorar o estado de todos os meus serviços systemd com a observação de que estou executando meus serviços systemd como um usuário não root?

Eu tenho um FreeBSD com um RAID rodando 3 discos rígidos. Foi-me dado o desafio de monitorar seu RAID - Se um disco rígido falhar ou apresentar algum problema, preciso saber.

Então, a primeira coisa que estou fazendo agora é tentar entender como funciona o SmartCTL... Os comandos que usei até agora são:

smartctl --scan -j - To scan my devices and generated a JSON Structured list.
smartctl -i /dev/device_name - To list informations about a single device
smartctl -a /dev/your-device - More information like errors and etc (I think i can use this in some way to grep only errors sections...)

Existe algum outro parâmetro do SmartCTL que verifica se os discos são graváveis, vivos e têm seu status de integridade OK?

O principal objetivo deste entendimento é utilizar principalmente o SmartCTL para gerar dados que serão utilizados em um template de monitoramento pfSense RAID com Low Level Discovery for Zabbix Monitoring Software...

Qualquer ajuda é agradecida.

Estamos usando o Prometheus Blackbox Exporter (blackbox_exporter, versão 0.19.0) para verificar os endpoints HTTP.
Agora precisamos implementar uma verificação com o fail_if_body_matches_regexp.
A verificação deve falhar quando uma determinada palavra existir dentro do corpo html.
Para isso, criamos a seguinte configuração de http prob:

Module configuration:
prober: http
timeout: 5s
http:
    valid_http_versions:
        - HTTP/1.1
        - HTTP/2
        - HTTP/2.0
    preferred_ip_protocol: ip4
    ip_protocol_fallback: true
    fail_if_body_matches_regexp:
        - The page is temporarily unavailable
    follow_redirects: true
tcp:
    ip_protocol_fallback: true
icmp:
    ip_protocol_fallback: true
dns:
    ip_protocol_fallback: true

Infelizmente, a verificação não funciona como esperado. Mesmo que o site contenha The page is temporarily unavailabledentro do corpo html, a verificação ainda é bem-sucedida.

Logs for the probe:
ts=2022-02-17T09:46:31.403831228Z caller=main.go:320 module=http_2xx target=https://site.local level=info msg="Beginning probe" probe=http timeout_seconds=5
ts=2022-02-17T09:46:31.403959629Z caller=http.go:335 module=http_2xx target=https://site.local level=info msg="Resolving target address" ip_protocol=ip4
ts=2022-02-17T09:46:31.500911613Z caller=http.go:335 module=http_2xx target=https://site.local level=info msg="Resolved target address" ip=XXX.XXX.XXX.XXX
ts=2022-02-17T09:46:31.501017313Z caller=client.go:251 module=http_2xx target=https://site.local level=info msg="Making HTTP request" url=https://XXX.XXX.XXX.XXX host=site.local
ts=2022-02-17T09:46:31.614236162Z caller=main.go:130 module=http_2xx target=https://site.local level=info msg="Received HTTP response" status_code=200

Metrics that would have been returned:
# HELP probe_failed_due_to_regex Indicates if probe failed due to regex
# TYPE probe_failed_due_to_regex gauge
probe_failed_due_to_regex 0

Para verificar se o site está carregado corretamente dentro do Prometheus Blackbox Exporter, gostaria de verificar o corpo html que é recebido durante o teste. Alguém sabe se isso é possível e pode ter mais algumas dicas de depuração?

Uma das maneiras de proteger um ambiente de nuvem é monitorar todos os ativos que temos. Recentemente, fiz um script para obter informações sobre esses ativos usando a API do GCP, mas preciso fazer um por um, para cada ativo, usando o describecomando para determinar se é público ou não.

Você sabe qual tipo de recurso no Google Cloud pode ser acessado publicamente? Encontrei alguns, mas quero ter certeza de cobrir todos os tipos de ativos que podem ser públicos.

Aqui está o que eu encontrei:

1. Balde
2. Instância
3. Firewall
4. Regra de encaminhamento
5. Serviço de back-end
6. Conjunto
7. Armazenar

Tem mais alguma coisa que eu perdi? ou existe uma maneira de obter todas as informações sobre bens públicos no GCP?

Estou encarregado de testar o ProxySQL em alguns servidores de teste Tomcat, comparando seu desempenho e utilização de recursos com o pool de conexão Apache DBCP atual. Tenho um plano de teste de carga aproximado, mas tenho experiência quase zero com monitoramento e coleta/comparação de métricas de desempenho no nível do sistema (CPU, memória, disco, rede etc.)

Meu teste de carga envolverá um manual do Ansible que executa várias tarefas preparatórias, aciona os scripts de teste de carga e, finalmente, limpa a si mesmo. Eu gostaria de adicionar "inicia e para a coleta de métricas de desempenho antes e depois do teste de carga, respectivamente", mas não sei quais ferramentas devo analisar.

A solução ideal, na minha opinião, seria algo assim:

• Executa localmente em segundo plano nas caixas do Tomcat
• Configuração simples
• As sessões de monitoramento podem ser iniciadas e interrompidas sob demanda
• Alta resolução (métricas coletadas uma vez por segundo ou até com mais frequência, se necessário)
• Os resultados do monitoramento são facilmente legíveis em algum tipo de ferramenta gráfica para comparar diferentes execuções de teste de carga.

Dadas essas especificações, que tipo de opções estou procurando, tanto para a tarefa de monitoramento em si quanto para a ferramenta gráfica para examiná-las?

Estou trabalhando com o NagiosCore para verificar as estatísticas dos switches da minha rede (principalmente S5700 (modulares e não modulares) e S5600). Usando o SNMP (v2c) eu sou capaz de obter coisas definidas por mim, como: DeviceName , Location , Contact e Description dos ifaces (portas) que estou usando atualmente, assim como o status (up/down) dos mencionados ifaces.

Agora eu adoraria verificar também CPU_usage , MEM_usage , Temperature , PowerSupply_Status e Bandwith_usage . Eu posso fazer isso snmpgetusando os OIDs que recebo da Huawei Infoweb, mas apenas para o S5700, não consigo encontrar nenhuma informação nessa web (ou em qualquer outra web) relacionada aos OIDs do S5600, não sei se o S5600 foi descontinuado ou o quê, mas não está sendo exibido em nenhuma das webs da Huawei Infoweb ...

S5600 não aparece no Huawei Infoweb

Simmm... gostaria de saber os OIDs do S5600 relacionados a:

• Utilização do CPU
• MEM_usage
• Temperatura
• PowerSupply_Status
• Bandwith_usage

desde já, obrigado

Estou procurando uma maneira de monitorar quando um arquivo/pasta é movido, bem como para onde foi movido.

Até agora, em minha pesquisa, encontrei ferramentas como auditd, watche inotify. Embora essas ferramentas sejam ótimas para monitorar quando um arquivo é movido, elas não monitoram para onde o arquivo foi movido.

Eu também olhei para os syslogs gerados quando um arquivo é movido, mas eles são difíceis de ler/analisar.

Existem ferramentas por aí que podem executar essa função? Ou devo começar a escrever meu próprio roteiro?

Instalei o kube-prometheus-stack 15.3.1 em um cluster do GKE usando o helm (no namespace "monitoramento"). Usei o values.yamlpara abrir entradas em alguns dos componentes e adicionar informações de SMTP e detalhes do receptor no gerenciador de alertas. Na maior parte, tudo parece bem, exceto que o Prometheus está disparando vários alertas e não estou recebendo nenhum e-mail de alerta.

Um alerta de disparo é:

PrometheusNotConnectedToAlertmanagers

O monitoramento do Prometheus/prometheus-kube-prometheus-stak-prometheus-0 não está conectado a nenhum Alertmanagers

Outra é:

PrometheusOperatorSyncFailed

O alertmanager do controlador no namespace de monitoramento falha ao reconciliar 1 objetos.

Eu também tentei abrir uma entrada para o alertmanager e apontei alerts.mydomiain.compara ele, mas quando tento qualquer solicitação GET (como alerts.mydomain.com/v2/status) sempre recebo um erro de servidor 502.

O que preciso fazer para que meu alertmanager funcione?

aqui está a saída de kubectl get pods,svc,daemonset,deployment,statefulset -n monitoring:

NAME                                                            READY   STATUS    RESTARTS   AGE
pod/kube-prometheus-stack-grafana-58f7fcb497-hm72h              2/2     Running   0          30h
pod/kube-prometheus-stack-kube-state-metrics-6d588499f5-d957b   1/1     Running   0          2d3h
pod/kube-prometheus-stack-operator-54f89674c9-k8ml7             1/1     Running   0          2d3h
pod/kube-prometheus-stack-prometheus-node-exporter-22vpd        1/1     Running   0          3h57m
pod/kube-prometheus-stack-prometheus-node-exporter-2qsl9        1/1     Running   0          3h57m
pod/kube-prometheus-stack-prometheus-node-exporter-4d27n        1/1     Running   0          7h36m
pod/kube-prometheus-stack-prometheus-node-exporter-7rlnk        1/1     Running   0          4h47m
pod/kube-prometheus-stack-prometheus-node-exporter-7xlf4        1/1     Running   0          4h51m
pod/kube-prometheus-stack-prometheus-node-exporter-9mfnt        1/1     Running   0          3h57m
pod/kube-prometheus-stack-prometheus-node-exporter-9zblf        1/1     Running   0          2d3h
pod/kube-prometheus-stack-prometheus-node-exporter-bdcjj        1/1     Running   0          2d3h
pod/kube-prometheus-stack-prometheus-node-exporter-bs54w        1/1     Running   0          4h47m
pod/kube-prometheus-stack-prometheus-node-exporter-fp95h        1/1     Running   0          2d3h
pod/kube-prometheus-stack-prometheus-node-exporter-h4zhw        1/1     Running   0          2d3h
pod/kube-prometheus-stack-prometheus-node-exporter-pz8js        1/1     Running   0          3h58m
pod/kube-prometheus-stack-prometheus-node-exporter-rrrhk        1/1     Running   0          27h
pod/kube-prometheus-stack-prometheus-node-exporter-rszlt        1/1     Running   0          2d3h
pod/kube-prometheus-stack-prometheus-node-exporter-s62wq        1/1     Running   0          4h47m
pod/kube-prometheus-stack-prometheus-node-exporter-w9dmb        1/1     Running   0          5h32m
pod/kube-prometheus-stack-prometheus-node-exporter-xqmxk        1/1     Running   0          4h51m
pod/prometheus-kube-prometheus-stack-prometheus-0               2/2     Running   1          30h

NAME                                                     TYPE        CLUSTER-IP      EXTERNAL-IP   PORT(S)          AGE
service/kube-prometheus-stack-alertmanager               NodePort    10.125.4.161    <none>        9093:30903/TCP   2d3h
service/kube-prometheus-stack-grafana                    NodePort    10.125.7.177    <none>        80:32444/TCP     2d3h
service/kube-prometheus-stack-kube-state-metrics         ClusterIP   10.125.2.56     <none>        8080/TCP         2d3h
service/kube-prometheus-stack-operator                   ClusterIP   10.125.4.171    <none>        443/TCP          2d3h
service/kube-prometheus-stack-prometheus                 NodePort    10.125.13.11    <none>        9090:30090/TCP   2d3h
service/kube-prometheus-stack-prometheus-node-exporter   ClusterIP   10.125.10.231   <none>        9100/TCP         2d3h
service/prometheus-operated                              ClusterIP   None            <none>        9090/TCP         2d3h

NAME                                                            DESIRED   CURRENT   READY   UP-TO-DATE   AVAILABLE   NODE SELECTOR   AGE
daemonset.apps/kube-prometheus-stack-prometheus-node-exporter   17        17        17      17           17          <none>          2d3h

NAME                                                       READY   UP-TO-DATE   AVAILABLE   AGE
deployment.apps/kube-prometheus-stack-grafana              1/1     1            1           2d3h
deployment.apps/kube-prometheus-stack-kube-state-metrics   1/1     1            1           2d3h
deployment.apps/kube-prometheus-stack-operator             1/1     1            1           2d3h

NAME                                                           READY   AGE
statefulset.apps/prometheus-kube-prometheus-stack-prometheus   1/1     42h