Início / unix / Perguntas / 529827
Accepted
humanityANDpeace
Asked: 2019-07-13 05:39:05 +0800 CST

Existe uma razão pela qual /var/log/lastlog é um arquivo esparso enorme (1,1 TB)?

  • 772

Eu li algumas perguntas, que pedem conselhos sobre como rsyncdistribuir arquivos esparsos com eficiência, mencionando os arquivos /var/log/lastloge /var/log/faillog. Na verdade, eu mesmo tropecei no fato de esses arquivos serem um "problema", pois o backup via rsync os torna "unsparse".

O que eu me pergunto é, qual é a motivação de necessidade/fundo para ter esses arquivos como arquivos esparsos e enormes (no meu caso, era 1,1 TB)?

Também em relação a isso, um acompanhamento: Como eu estava assumindo que eles eram arquivos de log, não me importo excessivamente em truncar esses arquivos, corrompi alguma coisa ao truncar esses arquivos?

logs sparse-files

4 respostas

  1. Best Answer

    O que eu me pergunto é, qual é a motivação de necessidade/fundo para ter esses arquivos como arquivos esparsos e enormes (no meu caso, era 1,1 TB)?

    É assim que deve ser.

    /var/log/lastlognão é um arquivo de log como /var/log/syslog, e seu nome deve ser lido como "última lista de logins" em vez de "último arquivo de log".

    É mantido pelo pam_lastlog(8)módulo e é basicamente um array como este:

    struct lastlog {
    time_t  ll_time;    // 4
    char    ll_line[UT_LINESIZE];   // 32
    char    ll_host[UT_HOSTSIZE];   // 256
} entry[UINT_MAX];

    Os tamanhos dos campos em uma máquina x86-64 típica estão nos comentários; uma entrada deve ser 4 + 32 + 256 = 292 bytes.

    Toda vez que um programa que usa o pam_lastlog(8)módulo pam faz o login de um usuário, ele busca uid * sizeof(struct lastlog)e sobrescreve a entrada correspondente a esse usuário.

    eu corrompi alguma coisa ao truncar esses arquivos?

    Você corrompeu a saída do lastlog(1)comando, que ninguém está usando de qualquer maneira ;-)

    • 14

  2. Eu vi esse comportamento depois que introduzimos alguns (grandes) números UID LDAP coexistindo com números UID UNIX "normais" em uma máquina linux (RHEL 7).

    Além disso, na seção "CAVEATS" da página de manual para "lastlog", afirma que

      *"Large gaps in UID numbers will cause the lastlog program to run longer with no output to the screen"*

    "lastlog" parecerá travar enquanto processa entradas com os UIDs não utilizados intermediários

    Talvez isso também possa estar relacionado ao problema observado, pois os números de UID LDAP do FreeIPA atribuídos eram muito maiores que os do Linux

    • 1

  3. Esses 2 arquivos são arquivos do tipo "dados", se você verificar usando o comando ls -l ou ls -lh, verá que está ocupando uma quantidade muito grande de espaço em disco, mas na verdade não é

    "ls -s" é o comando real para verificar o tamanho real desses arquivos.

    [root@LinuxServer ~]# file /var/log/lastlog /var/log/faillog
/var/log/lastlog: data
/var/log/faillog: data
[root@LinuxServer ~]# ls -l /var/log/lastlog /var/log/faillog
-rw------- 1 root osg       3166464 Jul  8 21:20 /var/log/faillog
-rw-r--r-- 1 root root 304854077980 Jul 14 21:38 /var/log/lastlog
[root@LinuxServer ~]# ls -lh /var/log/lastlog /var/log/faillog
-rw------- 1 root osg  3.1M Jul  8 21:20 /var/log/faillog
-rw-r--r-- 1 root root 284G Jul 14 21:38 /var/log/lastlog
[root@LinuxServer ~]#

    O tamanho real é de apenas alguns KB, se você verificar com o comando "ls -s".

    [root@LinuxServer ~]# ls -s /var/log/lastlog /var/log/faillog
3100 /var/log/faillog   748 /var/log/lastlog
[root@LinuxServer ~]# ls -s /var/log/faillog
3100 /var/log/faillog
[root@LinuxServer ~]#
    • -1

  4. Ao "truncar o arquivo", sem informar (ou reiniciar) os programas que estão gravando no arquivo de log, VOCÊ causou o arquivo esparso.

    A melhor solução é encontrar e corrigir o problema que causa todas essas mensagens de log.

    Outra maneira de evitar o problema é interromper o serviço de log, usar lsofpara garantir que nenhum outro processo tenha o arquivo aberto, truncar o arquivo e reiniciar o log.

    Conforme solicitado, aqui está um modelo de como (não) funciona:

    Um programa abre o arquivo para "anexar", é informado que o arquivo termina no bloco X e escreve o bloco X+1. Você "trunca o arquivo", mas o programa "sabe" que o próximo bloco a escrever é X+2. Assim, o arquivo pode fornecer dados no início, mas definitivamente possui dados no bloco X+2. Ta-Da! Arquivo esparso.

    • -2

relate perguntas