Início / unix / Perguntas / 669025
Accepted
Fabby
Asked: 2021-09-15 15:37:40 +0800 CST

Maneira eficiente de mover arquivos de log com nomes semelhantes em vários diretórios

  • 772

Eu tenho um diretório em um compartilhamento CIFS com mais de 10.000 arquivos que contém vários arquivos de log do servidor no formato CCLLLTTTFFFFNNN YYYY-MM-DD no mínimo . Onde:

  • Nome do servidor que consiste em:
    • CC= Nome ISO do país
    • LLL= Localização (código IATA da cidade mais próxima)
    • TTT= WINou UNX(e por que é um compartilhamento CIFS)
    • FFFF= Função do servidor
    • nnn= número
  • um espaço
  • um encontro
  • às vezes mais algum texto contendo palavras com espaços
  • uma extensão (sempre)

Alguém que não está mais trabalhando para a empresa configurou isso e todos os servidores globalmente despejam seus logs diários lá e leva uma eternidade para carregar a lista de arquivos! Todo mundo que precisa de toras choraminga e vadias reclama disso , mas ninguém nunca faz nada, então comecei a fazer algo sobre isso só para mim .

A ideia:

Em vez de uma longa lista de arquivos, por que não ter uma pequena lista de diretórios pelo menos 2 ordens de magnitude menor com os nomes dos servidores e cronum script diário que move todos esses arquivos para o diretório? ¹

O que eu tenho?

  • bash
  • Acesso agcc
  • Acesso de gravação ao compartilhamento CIFS (obviamente)
  • Manjaro, um derivado do Arch
  • Escritório aberto

O que eu fiz até agora?

  • ls /mnt/logshare/*UNXSAP* > ~/Documents/logs/logshare.txt
  • Importar logshare.txt para o OpenOffice Calc
    • crie um diretório com o nome do servidor
    • Gere uma tonelada de mvcomandos usando Calc e fórmulas
  • copie e cole isso em um script de shell
  • executar script de shell

Mas:

  • Eu me tornei uma vítima do meu próprio sucesso
  • O grupo de segurança e aplicativos viu meus diretórios surgirem e querem que eu não seja tão egoísta e faça isso para todos .
  • Nenhum desenvolvedor real, nenhum scripter real disponível.
  • Estou pensando nisso há uma semana e nem sei por onde começar. awk? find? Começar a escrever código C novamente? (Não faço isso há mais de 20 anos. Infelizmente, me tornei o que sempre temi: um terno ...) ;-(
  • Sempre que um novo servidor é adicionado, um diretório deve ser criado automaticamente
  • script deve ser executado diariamente

Existe alguém por aí que já resolveu isso para seu próprio servidor / coleção de arquivos de dados e tem um bashscript (C-source?) à mão que eu possa modificar? e se não: dicas úteis, por favor?

Nota 1: Sim, a coisa inteligente a fazer seria os servidores despejarem seus logs em um diretório com o nome do servidor, mas isso é um roll-out, um CAB e outras dores de cabeça, como mobilizar todo o mundo administradores do servidor...

bash shell-script

2 respostas

  1. Best Answer

    Criando diretórios para cada servidor

    find /var/mnt/logshare/ -maxdepth 1 -type f | cut -d' ' -f1 | sort -u |
while read server ; do
  mkdir "$server"
done

    o que nós fazemos:

    • procure arquivos (e apenas arquivos -type f) no diretório logshare e não em seus subdiretórios ( -maxdepth 1)
    • nomes de servidor são o primeiro segmento separado por espaço do nome do arquivo, então cutnós
    • classificar e manter -uapenas entradas exclusivas
    • para cada hit crie um diretório

    Movendo arquivos de acordo

    find /var/mnt/logshare -maxdepth 1 -type d | 
while read server ; do
   mv "$server?*" "$server"
done
    • procura por diretórios no logshare e não mais profundo
    • nomes de diretórios são iguais à primeira parte dos nomes dos arquivos de log
    • move qualquer coisa que seja chamada como um servidor, mas mais longa para os diretórios
    • 3

  2. Tentar,

    cd /path/to/files/ || exit
for f in *' '*; do
    mkdir -p -- "${f%% *}" &&
      mv -- "$f" "${f%% *}/"
done
    • 1

relate perguntas