AskOverflow.Dev

AskOverflow.Dev Logo AskOverflow.Dev Logo

AskOverflow.Dev Navigation

  • Início
  • system&network
  • Ubuntu
  • Unix
  • DBA
  • Computer
  • Coding
  • LangChain

Mobile menu

Close
  • Início
  • system&network
    • Recentes
    • Highest score
    • tags
  • Ubuntu
    • Recentes
    • Highest score
    • tags
  • Unix
    • Recentes
    • tags
  • DBA
    • Recentes
    • tags
  • Computer
    • Recentes
    • tags
  • Coding
    • Recentes
    • tags
Início / unix / Perguntas / 747085
Accepted
AnyDev
AnyDev
Asked: 2023-05-26 15:44:50 +0800 CST2023-05-26 15:44:50 +0800 CST 2023-05-26 15:44:50 +0800 CST

"Erro: muitos arquivos abertos" ao iniciar o serviço em ambiente com vários LXCs

  • 772

Ambiente:

Estou usando um CentOS-7 como hipervisor para executar vários LXCs em libvirt. Cada contêiner executa uma instalação mínima do CentOS-7 com FreePBX reduzido (Asterisco, Apache, MySQL + bits).

Sintomas:

São 16 containers rodando sem problemas. Quando eu começo mais um, ele começa, mas depois que o 17º contêiner começa, não consigo fazer systemctl start/restart/stop <anything>em NENHUM dos contêineres:

[root@test-lxc ~]# systemctl restart dnsmasq
Error: Too many open files

Diagnósticos:

Os seguintes diagnósticos e contagens são feitos enquanto o 17º LXC está em execução e systemctl restart blablaestá falhando:

Posso ssh em qualquer LXC e executar os comandos mais básicos, por exemplo, ls, etc. Suspeito que o limite de alguma forma afete apenas o arquivo systemd.

Estou tentando entender onde/por que atingi o limite.

[root@lxc-hypervisor]# sysctl fs.file-nr
fs.file-nr = 29616      0       12988463

Isso não foi ajustado, é exatamente o que aconteceu com a instalação padrão. Igual ao valor máximo (último) acima = 12988463 é relatado pelo hypervisor e também dentro de cada LXC. O primeiro valor muito semelhante, pouco abaixo de 30.000, também é relatado em cada LXC.

Quando tento contar os descritores de arquivo em todo o processo dentro de cada LXC, recebo na ordem 400 ~ 500 em cada LXC.

for pid in $( ls /proc/ | grep -E -e "^[0-9][0-9]*\$" ); do
    ls -l /proc/${pid}/fd/ 2> /dev/null | wc -l
done

A soma totaliza cerca de 9000 (9k) sem o hipervisor propriamente dito. Quando executo isso no hipervisor, geralmente obtenho valores suspeitosamente próximos de pouco mais de 10.000, por exemplo, 10.005.

Questões:

Q1. De onde o limite é definido ou herdado?

Q2. Por que o limite afeta systemctl start/stop/restart blahos comandos, mas ainda posso ssh em LXCs, executar comandos como scripts bash com loops que bifurcam muito, embora como root.

Q3. Como ajustar os limites para permitir a execução de mais LXCs. Pelo que entendi, a RAM e outros recursos não são o limite.

Eu li muitos artigos e respostas sobre o assunto dos limites do descritor de arquivo, mas não consigo ver onde meu sistema atinge os limites.

Qualquer outra informação relevante também é bem-vinda.

linux
  • 1 1 respostas
  • 225 Views

1 respostas

  • Voted
  1. Best Answer
    A.B
    2023-05-26T17:21:36+08:002023-05-26T17:21:36+08:00

    Acredito que você não esteja atingindo um limite global, mas um limite inotify . Isso seria visto em contêineres executando o systemd porque o systemd usa o recurso inotify para sua contabilidade, mas o host também seria afetado. Os contêineres que não usam systemd (nem inotify ) provavelmente não seriam afetados.

    /proc/sys/fs/inotify/max_user_instances:

    Isso especifica um limite superior no número de instâncias inotify que podem ser criadas por ID de usuário real.

    Se apenas contêineres não rootless (ou seja: root no contêiner é o verdadeiro root ) estiverem em uso, o usuário root se tornará o gargalo. Ter vários contêineres usando o mesmo mapeamento de usuário sem raiz também criaria esse gargalo para o usuário raiz desse contêiner (mas não afetaria o host). O padrão é 128, muito pouco para uso de contêineres.

    O CentOS7 (ou Rocky9) não inclui nenhuma configuração padrão para isso com o LXC. As distribuições baseadas em Debian incluem este arquivo no host:

    /etc/sysctl.d/30-lxc-inotify.conf:

    # Defines the maximum number of inotify listeners.
    # By default, this value is 128, which is quickly exhausted when using
    # systemd-based LXC containers (15 containers are enough).
    # When the limit is reached, systemd becomes mostly unusable, throwing
    # "Too many open files" all around (both on the host and in containers).
    # See https://kdecherf.com/blog/2015/09/12/systemd-and-the-fd-exhaustion/
    # Increase the user inotify instance limit to allow for about
    # 100 containers to run before the limit is hit again
    fs.inotify.max_user_instances = 1024
    

    Portanto, você deve fazer o mesmo criando esse arquivo no host. Para efeito imediato (no hospedeiro):

    sysctl -w fs.inotify.max_user_instances=1024
    
    • 8

relate perguntas

  • Existe uma maneira de fazer ls mostrar arquivos ocultos apenas para determinados diretórios?

  • Inicie/pare o serviço systemd usando o atalho de teclado [fechado]

  • Necessidade de algumas chamadas de sistema

  • astyle não altera a formatação do arquivo de origem

  • Passe o sistema de arquivos raiz por rótulo para o kernel do Linux

Sidebar

Stats

  • Perguntas 205573
  • respostas 270741
  • best respostas 135370
  • utilizador 68524
  • Highest score
  • respostas
  • Marko Smith

    Possível firmware ausente /lib/firmware/i915/* para o módulo i915

    • 3 respostas
  • Marko Smith

    Falha ao buscar o repositório de backports jessie

    • 4 respostas
  • Marko Smith

    Como exportar uma chave privada GPG e uma chave pública para um arquivo

    • 4 respostas
  • Marko Smith

    Como podemos executar um comando armazenado em uma variável?

    • 5 respostas
  • Marko Smith

    Como configurar o systemd-resolved e o systemd-networkd para usar o servidor DNS local para resolver domínios locais e o servidor DNS remoto para domínios remotos?

    • 3 respostas
  • Marko Smith

    apt-get update error no Kali Linux após a atualização do dist [duplicado]

    • 2 respostas
  • Marko Smith

    Como ver as últimas linhas x do log de serviço systemctl

    • 5 respostas
  • Marko Smith

    Nano - pule para o final do arquivo

    • 8 respostas
  • Marko Smith

    erro grub: você precisa carregar o kernel primeiro

    • 4 respostas
  • Marko Smith

    Como baixar o pacote não instalá-lo com o comando apt-get?

    • 7 respostas
  • Martin Hope
    user12345 Falha ao buscar o repositório de backports jessie 2019-03-27 04:39:28 +0800 CST
  • Martin Hope
    Carl Por que a maioria dos exemplos do systemd contém WantedBy=multi-user.target? 2019-03-15 11:49:25 +0800 CST
  • Martin Hope
    rocky Como exportar uma chave privada GPG e uma chave pública para um arquivo 2018-11-16 05:36:15 +0800 CST
  • Martin Hope
    Evan Carroll status systemctl mostra: "Estado: degradado" 2018-06-03 18:48:17 +0800 CST
  • Martin Hope
    Tim Como podemos executar um comando armazenado em uma variável? 2018-05-21 04:46:29 +0800 CST
  • Martin Hope
    Ankur S Por que /dev/null é um arquivo? Por que sua função não é implementada como um programa simples? 2018-04-17 07:28:04 +0800 CST
  • Martin Hope
    user3191334 Como ver as últimas linhas x do log de serviço systemctl 2018-02-07 00:14:16 +0800 CST
  • Martin Hope
    Marko Pacak Nano - pule para o final do arquivo 2018-02-01 01:53:03 +0800 CST
  • Martin Hope
    Kidburla Por que verdadeiro e falso são tão grandes? 2018-01-26 12:14:47 +0800 CST
  • Martin Hope
    Christos Baziotis Substitua a string em um arquivo de texto enorme (70 GB), uma linha 2017-12-30 06:58:33 +0800 CST

Hot tag

linux bash debian shell-script text-processing ubuntu centos shell awk ssh

Explore

  • Início
  • Perguntas
    • Recentes
    • Highest score
  • tag
  • help

Footer

AskOverflow.Dev

About Us

  • About Us
  • Contact Us

Legal Stuff

  • Privacy Policy

Language

  • Pt
  • Server
  • Unix

© 2023 AskOverflow.DEV All Rights Reserve