Início / unix / Perguntas / 781678
Accepted
Matteo
Asked: 2024-08-10 16:13:42 +0800 CST

a execução de comandos com base no tamanho do arquivo falha sem problemas aparentes

  • 772

Eu estava trabalhando em um trabalho de array para um pipeline pequeno e precisava de uma maneira de executar um comando específico com base no tamanho do arquivo. Encontrei este post e similares que descrevem como fazer isso. No momento estou usando o seguinte:

find $d/*.fasta -size +100M -exec sh -c '
     chromap -i -r $1 -o $1.index

     chromap --preset hic -x $1.index -r $1 -1 $d/hi-c/${ID}_1.fq.gz -2 $d/hi-c/${ID}_2.fq.gz --SAM -o /dev/stdout -t 48 | \
         samtools view -bS -@ 48 | samtools sort -n -@ 48 | samtools view -h | sed -e "s/\/.//" | samtools view -bS -o ${ID}.bam -@ 48
     ' sh {} \;

que, além da bioinfo e das ferramentas utilizadas que funcionam, parece executar apenas a primeira linha de comando - chromap -i -r $1 -o $1.index. Então, por algum motivo, ao entrar no segundo conjunto de instruções, o script retorna o seguinte:

Não é possível encontrar o arquivo de sequência /hi-c/_1.fq.gz

indicando que não tem conhecimento das variáveis ​​de ambiente que usei com sucesso até agora ou não pode calcular mais de duas operações ao mesmo tempo? Não tenho pistas ... tentei também algo mais simples, por exemplo

mkdir $d/scaffolding
find $d/*.fasta -size +100M -exec sh -c '
     chromap -i -r $1 -o $1.index && mv $1 $1.index $d/scaffolding
' sh {} \;

mas Bash reclama de: mv: the destination '/scaffolding' is not a directory.

O que devo fazer para que um (ou ambos) funcione? Estou faltando alguma coisa, por favor, se alguém tiver alguma ideia sobre esse assunto, me avise! Desde já, obrigado.

bash

2 respostas

  1. Best Answer
    export d ID
find -H "$d"/*.fasta -prune -size +100M -exec bash -o pipefail -c '
  ret=0
  for file do
    chromap -i -r "$file" -o "$file.index" &&
      chromap --preset hic \
              -x "$file.index" \
              -r "$file" \
              -1 "$d/hi-c/${ID}_1.fq.gz" \
              -2 "$d/hi-c/${ID}_2.fq.gz" \
              --SAM -o /dev/stdout -t 48 |
        samtools view -bS -@ 48 |
        samtools sort -n -@ 48 |
        samtools view -h |
        sed "s:/.::" |
        samtools view -bS -o "${ID}.bam" -@ 48 ||
      ret=$?
    done
    exit "$ret"
  ' bash {} +

    Abordando vários problemas:

    • a menos que você exporte $de $IDo shiniciado findnão consiga vê-los
    • Sem -H, para os fastaarquivos que são links simbólicos, findverificaria o tamanho do link simbólico em vez do tamanho do arquivo fasta
    • Sem -prune, para aqueles que são diretórios, finddesceríamos para eles. Você provavelmente desejaria excluí-los completamente ! -type dou incluir apenas arquivos regulares com -type f(o que inclui links simbólicos para arquivos regulares com -H). Adicionar essas verificações não elimina a necessidade -prune(ou -maxdepth 0se estiver usando GNU findou compatível).
    • Você esqueceu de citar as expansões dos parâmetros. Você pode escapar sem zsh, mas não sh nem bash.
    • Você não está verificando o status dos comandos antes de executar o próximo. Aqui adicionei a pipefailopção para que os pipelines retornem falha se algum dos comandos falhar. Essa agora é uma shopção padrão, mas existem algumas shimplementações como dashessa que ainda não oferecem suporte a ela, então substituí shpor bash, embora você possa usar qualquer outra shimplementação que suporte pipefail.
    • Você tinha aspas simples dentro de aspas simples, o que significava que s/\/.//estavam fora das aspas, o que significava que era o mesmo que s//.//which não é um código válido sed. Aqui estamos usando aspas duplas para as aspas internas e alternando de /para :para o separador para evitar ter que escapar do /. Observe que isso s:/.::remove a primeira ocorrência /seguida por qualquer caractere único sem nada. Remover /.literalmente, isso é s:/\.::remover s:/\.::gtodas as ocorrências.
    • com o -exec sh ... {} ';', você está executando um shpor arquivo e também a falha de qualquer um deles não é relatada. Substituindo por -exec sh ... {} +endereços ambos.

    Se você pudesse mudar para o zsh, a maioria desses problemas poderia ser facilmente evitada.

    set -o pipefail
errors=0
for file (*.fasta(N-.LM+100)) {
  chromap -i -r $file -o $file.index &&
      chromap --preset hic \
              -x $file.index \
              -r $file \
              -1 $d/hi-c/${ID}_1.fq.gz \
              -2 $d/hi-c/${ID}_2.fq.gz \
              --SAM -o /dev/stdout -t 48 |
        samtools view -bS -@ 48 |
        samtools sort -n -@ 48 |
        samtools view -h |
        sed 's:/.::' |
        samtools view -bS -o ${ID}.bam -@ 48 ||
      (( error++ ))
}
    • zsh não possui aquele recurso incorreto do shell Bourne, pelo qual expansões sem aspas estão sujeitas a split+glob para que você possa omitir as aspas.
    • zsh globs possuem a maioria dos findrecursos integrados do , então você não precisa combinar shell globs (seu *.fasta) com find.
    • isso significa que não há necessidade de aspas aninhadas, isso significa que não há necessidade de executar um shell separado e de exportar variáveis ​​para ele, o que significa que podemos retornar mais facilmente uma contagem de erros.
    • zsh suporta pipefail(ao contrário de algumas shimplementações).
    • 8

  2. Você assume que algumas variáveis ​​​​do shell em seu sh -cscript embutido são herdadas pelo ambiente. Estes são de ID. Se o shell não os exportar para o ambiente antes de findser chamado, o sh -cscript não os verá e substituirá strings vazias em seus lugares.

    Portanto, antes de ligar find, certifique-se de ter

    export d ID

    ... no seu roteiro.

    Como alternativa, defina-os para o findcomando ao chamá-lo, assim:

    d=$d ID=$ID find "$d"/*.fasta -size +100M -exec ...

    Lembre-se também de colocar aspas duplas em todas as expansões de variáveis ​​em seus scripts:

    export d ID

find "$d"/*.fasta -size +100M -exec sh -c '
    chromap -i -r "$1" -o "$1.index"

    chromap --preset hic -x "$1.index" -r "$1" -1 "$d/hi-c/${ID}_1.fq.gz" -2 "$d/hi-c/${ID}_2.fq.gz" --SAM -o /dev/stdout -t 48 |
    samtools view -bS -@ 48 |
    samtools sort -n -@ 48 |
    samtools view -h | sed -e 's/\/.//' |
    samtools view -bS -o "${ID}.bam" -@ 48' sh {} \;
    • 3

relate perguntas