主页 / user-589662

Matteo's questions

Martin Hope
Matteo
Asked: 2025-04-13 20:51:02 +0800 CST
  • 7

我有一条BASH管道，它在某个时刻运行一个具有奇点执行的Singularity容器，如下所示：

singularity exec --bind `pwd`:/folder --bind $d:/results <image>.sif <tool_command> -i /folder/<file>.fastq -v /results/<output>/<file>.vcf -r /folder/<reference>.fna -s <vcf_sample_name> -j 24 -t 24 -o /results/<output_file_suffix>

由于我使用数组同时运行多个实验，因此我正在使用希望添加到的环境变量重新定义实验<output_file_suffix>；它适用于管道的所有步骤，但Singularity似乎无法看到我在脚本中定义的变量......

有人能提供一些建议吗？我查了一下，但--env似乎行不通。提前谢谢！

bash
Martin Hope
Matteo
Asked: 2025-02-11 00:25:41 +0800 CST
  • 5

我有一个使用数组作业的管道，需要更改某些步骤的输入数量。我考虑进行测试，uniq因为我的文件夹中唯一改变的部分是最后四个字符（示例中的hap部分）。因此，我的所有路径看起来都像这样：

/mnt/nvme/user/something1/hap1
/mnt/nvme/user/something1/hap2
/mnt/nvme/user/something2/hap1
/mnt/nvme/user/something2/hap2

我正在做的事情如下：

DIR=( "/mnt/nvme/ungaro/something1/hap1" "/mnt/nvme/ungaro/something1/hap2" "/mnt/nvme/ungaro/something2/hap1" "/mnt/nvme/ungaro/something2/hap2" )

for dir in "${DIR[@]}"; do echo $dir | sed 's#/hap[0-9]##' | uniq; done

但是，在删除每个元素的hap部分后，结果输出始终会显示变量中的所有元素，而不会折叠重复的行。

我可能遗漏了什么，可能是强制for打印所有行。如果是这样，有没有办法在一行命令中达到所需的结果？

bash
Martin Hope
Matteo
Asked: 2024-11-25 21:34:48 +0800 CST
  • 7

我有一个大文件，其格式tab如下：

#CHROM  POS     ID      REF     ALT     QUAL    FILTER  INFO    FORMAT  recombination
chr1    586001  >63041388>63041391      G       A       60      .       AC=80;AF=0.3125;AN=256;AT=>63041388>63041390>63041391,>63041388>63041389>63041391;NS=3;LV=0     GT    1|2|3|

现在，最后一列（第 10 列）出现的数字等于用竖线除以 0 |；但是，我希望实现以下目标：

#CHROM  POS     ID      REF     ALT     QUAL    FILTER  INFO    FORMAT  recombination
chr1    586001  >63041388>63041391      G       A       60      .       AC=80;AF=0.3125;AN=256;AT=>63041388>63041390>63041391,>63041388>63041389>63041391;NS=3;LV=0     GT    1|1    2|2    3|3

tab我设法通过替换符号来分隔列|，这让我知道如何复制它们并添加|数字之间的数字。我尝试了几次for循环，但我能做的最好的就是只打印两列，如下所示：

1    1
2    2
3    3
...

否则printf我会得到一行输出但不能保持计数器与初始列相同的值...非常感谢任何帮助，提前谢谢！

text-processing
Martin Hope
Matteo
Asked: 2024-08-10 16:13:42 +0800 CST
  • 7

我正在为一个小型管道处理数组作业，碰巧需要一种根据文件大小执行特定命令的方法。我找到了这篇文章和类似的文章，它们描述了如何做到这一点。目前我正在使用以下内容：

find $d/*.fasta -size +100M -exec sh -c '
     chromap -i -r $1 -o $1.index

     chromap --preset hic -x $1.index -r $1 -1 $d/hi-c/${ID}_1.fq.gz -2 $d/hi-c/${ID}_2.fq.gz --SAM -o /dev/stdout -t 48 | \
         samtools view -bS -@ 48 | samtools sort -n -@ 48 | samtools view -h | sed -e "s/\/.//" | samtools view -bS -o ${ID}.bam -@ 48
     ' sh {} \;

除了生物信息和使用的工具都有效之外，它似乎只执行了第一个命令行 — chromap -i -r $1 -o $1.index。然后，出于某种原因，一旦进入第二组指令，脚本就会返回以下内容：

找不到序列文件 /hi-c/_1.fq.gz

这表明它不知道我迄今为止成功使用的环境变量，或者它当时无法计算两个以上的操作？我没有任何线索……我还尝试了一些更简单的东西，例如

mkdir $d/scaffolding
find $d/*.fasta -size +100M -exec sh -c '
     chromap -i -r $1 -o $1.index && mv $1 $1.index $d/scaffolding
' sh {} \;

但 Bash 抱怨：mv: the destination '/scaffolding' is not a directory。

我应该怎么做才能让其中一个（或两个）工作？我是否遗漏了什么，如果有人对这个问题有一些见解，请告诉我！提前致谢。

bash
Martin Hope
Matteo
Asked: 2023-10-23 19:48:52 +0800 CST
  • 6

您好，我正在尝试一次下载大量文件；准确地说是279。每个都是大 BAM (~90GB)。我正在工作的集群有多个节点，幸运的是我可以一次分配多个实例。

鉴于这种情况，我想知道是否可以使用wget批处理文件（参见下面的示例）将每个下载分配到单独的节点以独立执行。

批处理文件.txt

<https_link_1> -O DNK07.bam
<https_link_2> -O mixe0007.bam
<https_link_3> -O IHW9118.bam
.
.

原则上，这不仅会加快速度，还会防止运行失败，因为此执行的挂机时间为 24 小时，并且不足以在一台计算机上连续下载所有这些文件。

我的 BASH 脚本如下所示：

#!/bin/bash
#
#SBATCH --nodes=279 --ntasks=1 --cpus-per-task=1
#SBATCH --time=24:00:00
#SBATCH --mem=10gb
#
#SBATCH --job-name=download
#SBATCH --output=sgdp.out
##SBATCH --array=[1-279]%279
#
#SBATCH --partition=<partition_name>
#SBATCH --qos=<qos_type>
#
#SBATCH --account=<user_account>

#NAMES=$1
#d=$(sed -n "$SLURM_ARRAY_TASK_ID"p $NAMES)

wget -i sgdp-download-list.txt

正如你所看到的，我正在考虑使用 an array job（不确定是否有效）；或者，我考虑分配 279 个节点，希望 SLURM 能够足够聪明地将每个下载发送到一个单独的节点（不确定......）。如果您知道一种有效的方法，欢迎提出任何建议。提前致谢！

bash