Início / unix / Perguntas / 782786
Accepted
Mike
Asked: 2024-08-31 00:56:17 +0800 CST

script bash para executar um comando python com argumentos em lote

  • 772

Estou tentando automatizar a execução de um comando python com argumentos usando vários arquivos (um de cada vez) e escrevendo a saída em diretórios de saída com o mesmo nome do arquivo de entrada, mas sem a extensão.

Os arquivos são arquivos fasta contendo as proteínas de genomas bacterianos. A rotina python é projetada para extrair essas proteínas com certas propriedades e imprimir várias saídas no diretório /myruns/test. Se eu executá-lo com um genoma, o nome de testseria substituído.

Exemplo:

O arquivo rápido XYZ.faaserá tomado como entrada e os arquivos de saída serão colocados em /myruns/XYZ.

Manualmente funciona muito bem, mas quero usá-lo em lote com vários *.faaarquivos e criar diretórios com seus nomes correspondentes, caso contrário, o último arquivo processado apagará o conteúdo do anterior.

Até agora eu construí o seguinte script:

#!/bin/sh
for filename in *.faa ; do
    python predict_genome.py \
      --fasta_path /Users/mvalvano/DeepSecE/myruns/${filename} \
      --model_location /Users/mvalvano/DeepSecE/model/checkpoint.pt \
      --data_dir data \
      --out_dir myruns/test --save_attn --no_cuda
    done
exit 0

Este script funciona, e os arquivos de saída são salvos em um diretório de teste que é especificado no --out_dirargumento. Minha pergunta é como posso substituir testno --out_dirargumento por uma função que nomearia o diretório com o mesmo nome do arquivo de entrada. Tentei algumas opções, mas elas não parecem funcionar.

Obrigado Mike

bash

2 respostas

  1. Substitua testpor "${filename%.faa}"para obter o nome do arquivo com .faaremovido. Você também deve citar "${filename}"para evitar problemas em caso de nomes de arquivo com espaços.

    #!/bin/sh
for filename in *.faa ; do
    python predict_genome.py \
        --fasta_path /Users/mvalvano/DeepSecE/myruns/"${filename}" \
        --model_location /Users/mvalvano/DeepSecE/model/checkpoint.pt \
        --data_dir data \
        --out_dir myruns/"${filename%.faa}" \
        --save_attn --no_cuda
    done
exit 0

    Com arquivos de entrada

    bar.faa
foo.faa

    o script será executado

    python predict_genome.py --fasta_path /Users/mvalvano/DeepSecE/myruns/bar.faa --model_location /Users/mvalvano/DeepSecE/model/checkpoint.pt --data_dir data --out_dir myruns/bar --save_attn --no_cuda
python predict_genome.py --fasta_path /Users/mvalvano/DeepSecE/myruns/foo.faa --model_location /Users/mvalvano/DeepSecE/model/checkpoint.pt --data_dir data --out_dir myruns/foo --save_attn --no_cuda

    Possíveis problemas com este script:

    Como você especifica --fasta_path /Users/mvalvano/DeepSecE/myruns/"${filename}", seu script só funcionará sem erros se o diretório atual for /Users/mvalvano/DeepSecE/myruns/ou se este diretório contiver pelo menos o mesmo conjunto de *.faaarquivos que o diretório atual. ( *.faaserá expandido para os nomes de arquivos no diretório atual.)

    Quando /Users/mvalvano/DeepSecE/myruns/é o diretório atual, o argumento --out_dir myruns/foopode esperar ou criar um diretório /Users/mvalvano/DeepSecE/myruns/myruns/foocom double myruns.

    • 5
  2. Best Answer

    Talvez fizesse mais sentido escrever assim:

    #! /bin/zsh -
topdir=/Users/mvalvano/DeepSecE
ret=0
for filename in $topdir/myruns/*.faa(N); do
  outdir=$filename:r
  mkdir -p -- $outdir &&
    python -- $topdir/predict_genome.py \
      --fasta_path $filename \
      --model_location $topdir/model/checkpoint.pt \
      --data_dir $topdir/data \
      --out_dir $outdir \
      --save_attn --no_cuda || ret=$?
done
exit $ret

    Onde usamos apenas caminhos absolutos, removendo a dúvida sobre o que são caminhos relativos.

    (aqui mudando para zsh(já que isso /Userssugere macos) para seu :rmodificador ootname (de csh), seu Nqualificador ullglob e para remover a necessidade de citar todas as expansões).

    • 2

relate perguntas