Início / unix / Perguntas / 707522
Accepted
Sollosa
Asked: 2022-06-26 11:11:28 +0800 CST

bash fazendo loop sobre arquivos enquanto segue logs

  • 772

Estou executando um daemon que processa arquivos em um diretório específico. Eu quero processá-los um por um. então a idéia é copiar os arquivos 1 por 1 no diretório do daemon e seguir seu log, o segundo arquivo deve ser copiado para o diretório do daemon quando o arquivo de log terminar de ser processado primeiro, ou seja, o arquivo de log parar de atualizar.

como posso conseguir isso? dizer

daemon_dir=/var/daemon_dir/
daemon_log_file=/var/daemon/daemon_log

e eu tenho 5 arquivos para processar, ou seja, arquivo{1..5}

# ls -1
file1
file2
file3
file4
file5

então meu loop deve ir como está.

for file in file{1..5}
do
  cp ${file} ${daemon_dir}
  # daemon sees new file arriving in its dir, & starts processing
  # log is tailed
  tail -f ${daemon_log_file}
  # when log file stops updating say for 1minute or specified time, tail quits
done

e o loop começa com o próximo arquivo.

bash logs

1 respostas

  1. Best Answer

    Com zshem vez de bash, você poderia fazer:

    zmodload zsh/zselect
for file in file{1..5}; do
  cp -- $file $daemon_dir || exit
  touch -- $daemon_log_file
  while
    ()(($#)) $daemon_log_file(Nmm-1)
  do
    zselect -t 100
  done
done

    ( zselect -t 100dorme por 1 segundo. Como sleep 1except zselecté embutido. tail -fnormalmente também verifica novas entradas no arquivo a cada segundo (embora no Linux algumas implementações usem inotify em vez de detectar entrada de entrada)).

    Acima, usamos o qualificador glob mm-1( modified a menos de 1 mminuto atrás) para detectar quando o daemon terminou de processar o arquivo.

    Se no Linux, você pode monitorar o IN_CLOSE_NOWRITEevento inotify no arquivo, supondo que o daemon abra os arquivos de entrada apenas uma vez (e seja o único a abri-lo) e leve tempo suficiente para processar o arquivo, para que tenhamos tempo para configurar o relógio

    for file in file{1..5}; do
  cp -- "$file" "$daemon_dir" || exit
  inotifywait -qqe close_nowrite -- "$daemon_dir/$file" 
done

    Para uma tail -fabordagem baseada, você poderia fazer (com zsh) algo como:

    zmodload zsh/system
tail -f -- $daemon_log_file |
  for file in file{1..5}; do
    cp -- $file $daemon_dir || exit
    while sysread -t 60 -o 1; do
      continue
    done
  done
    • 1

relate perguntas