Início / user-589662

Matteo's questions

Martin Hope
Matteo
Asked: 2024-11-25 21:34:48 +0800 CST
  • 7

Tenho um arquivo grande com o seguinte formato tab-separado:

#CHROM  POS     ID      REF     ALT     QUAL    FILTER  INFO    FORMAT  recombination
chr1    586001  >63041388>63041391      G       A       60      .       AC=80;AF=0.3125;AN=256;AT=>63041388>63041390>63041391,>63041388>63041389>63041391;NS=3;LV=0     GT    1|2|3|

Agora, a última coluna, a décima, aparece como muitos números divididos por uma barra vertical |; no entanto, o que desejo alcançar é o seguinte:

#CHROM  POS     ID      REF     ALT     QUAL    FILTER  INFO    FORMAT  recombination
chr1    586001  >63041388>63041391      G       A       60      .       AC=80;AF=0.3125;AN=256;AT=>63041388>63041390>63041391,>63041388>63041389>63041391;NS=3;LV=0     GT    1|1    2|2    3|3

Consegui separar as colunas tabsubstituindo o |símbolo, o que me deixa com a forma de duplicá-las e adicionar novamente os |números entre elas. Tentei algumas vezes com forloops, mas o melhor que consegui fazer foi imprimir apenas duas colunas como tal:

1    1
2    2
3    3
...

caso contrário, printfobtenho uma saída de uma linha, mas não consigo manter o contador com o mesmo valor da coluna inicial... Qualquer ajuda é muito apreciada, obrigado antecipadamente!

text-processing
Martin Hope
Matteo
Asked: 2024-08-10 16:13:42 +0800 CST
  • 7

Eu estava trabalhando em um trabalho de array para um pipeline pequeno e precisava de uma maneira de executar um comando específico com base no tamanho do arquivo. Encontrei este post e similares que descrevem como fazer isso. No momento estou usando o seguinte:

find $d/*.fasta -size +100M -exec sh -c '
     chromap -i -r $1 -o $1.index

     chromap --preset hic -x $1.index -r $1 -1 $d/hi-c/${ID}_1.fq.gz -2 $d/hi-c/${ID}_2.fq.gz --SAM -o /dev/stdout -t 48 | \
         samtools view -bS -@ 48 | samtools sort -n -@ 48 | samtools view -h | sed -e "s/\/.//" | samtools view -bS -o ${ID}.bam -@ 48
     ' sh {} \;

que, além da bioinfo e das ferramentas utilizadas que funcionam, parece executar apenas a primeira linha de comando - chromap -i -r $1 -o $1.index. Então, por algum motivo, ao entrar no segundo conjunto de instruções, o script retorna o seguinte:

Não é possível encontrar o arquivo de sequência /hi-c/_1.fq.gz

indicando que não tem conhecimento das variáveis ​​de ambiente que usei com sucesso até agora ou não pode calcular mais de duas operações ao mesmo tempo? Não tenho pistas ... tentei também algo mais simples, por exemplo

mkdir $d/scaffolding
find $d/*.fasta -size +100M -exec sh -c '
     chromap -i -r $1 -o $1.index && mv $1 $1.index $d/scaffolding
' sh {} \;

mas Bash reclama de: mv: the destination '/scaffolding' is not a directory.

O que devo fazer para que um (ou ambos) funcione? Estou faltando alguma coisa, por favor, se alguém tiver alguma ideia sobre esse assunto, me avise! Desde já, obrigado.

bash
Martin Hope
Matteo
Asked: 2023-10-23 19:48:52 +0800 CST
  • 6

Olá, estou tentando baixar um grande número de arquivos de uma vez; 279 para ser mais preciso. Estes são BAM grandes (~ 90 GB) cada. O cluster onde estou trabalhando possui vários nós e felizmente posso alocar várias instâncias de uma vez.

Dada esta situação, gostaria de saber se posso usar wgetum arquivo em lote ( veja o exemplo abaixo) para atribuir cada download a um nó separado para realizar de forma independente.

arquivo_batch.txt

<https_link_1> -O DNK07.bam
<https_link_2> -O mixe0007.bam
<https_link_3> -O IHW9118.bam
.
.

Em princípio, isso não só irá acelerar as coisas, mas também evitar que a execução falhe, já que o tempo de espera para esta execução é de 24h, e não será suficiente baixar todos esses arquivos em uma única máquina consecutivamente.

Esta é a aparência do meu script BASH:

#!/bin/bash
#
#SBATCH --nodes=279 --ntasks=1 --cpus-per-task=1
#SBATCH --time=24:00:00
#SBATCH --mem=10gb
#
#SBATCH --job-name=download
#SBATCH --output=sgdp.out
##SBATCH --array=[1-279]%279
#
#SBATCH --partition=<partition_name>
#SBATCH --qos=<qos_type>
#
#SBATCH --account=<user_account>

#NAMES=$1
#d=$(sed -n "$SLURM_ARRAY_TASK_ID"p $NAMES)

wget -i sgdp-download-list.txt

Como você pode ver, eu estava pensando em usar um array job(não tenho certeza se funcionará); alternativamente, pensei em alocar 279 nós esperando que o SLURM fosse inteligente o suficiente para enviar cada download para um nó separado (não tenho certeza...). Se você conhece uma maneira de fazer isso de forma eficiente, qualquer sugestão é bem-vinda. Desde já, obrigado!

bash