主页 / user-589662

Matteo's questions

Martin Hope
Matteo
Asked: 2024-11-25 21:34:48 +0800 CST
  • 7

我有一个大文件，其格式tab如下：

#CHROM  POS     ID      REF     ALT     QUAL    FILTER  INFO    FORMAT  recombination
chr1    586001  >63041388>63041391      G       A       60      .       AC=80;AF=0.3125;AN=256;AT=>63041388>63041390>63041391,>63041388>63041389>63041391;NS=3;LV=0     GT    1|2|3|

现在，最后一列（第 10 列）出现的数字等于用竖线除以 0 |；但是，我希望实现以下目标：

#CHROM  POS     ID      REF     ALT     QUAL    FILTER  INFO    FORMAT  recombination
chr1    586001  >63041388>63041391      G       A       60      .       AC=80;AF=0.3125;AN=256;AT=>63041388>63041390>63041391,>63041388>63041389>63041391;NS=3;LV=0     GT    1|1    2|2    3|3

tab我设法通过替换符号来分隔列|，这让我知道如何复制它们并添加|数字之间的数字。我尝试了几次for循环，但我能做的最好的就是只打印两列，如下所示：

1    1
2    2
3    3
...

否则printf我会得到一行输出但不能保持计数器与初始列相同的值...非常感谢任何帮助，提前谢谢！

text-processing
Martin Hope
Matteo
Asked: 2024-08-10 16:13:42 +0800 CST
  • 7

我正在为一个小型管道处理数组作业，碰巧需要一种根据文件大小执行特定命令的方法。我找到了这篇文章和类似的文章，它们描述了如何做到这一点。目前我正在使用以下内容：

find $d/*.fasta -size +100M -exec sh -c '
     chromap -i -r $1 -o $1.index

     chromap --preset hic -x $1.index -r $1 -1 $d/hi-c/${ID}_1.fq.gz -2 $d/hi-c/${ID}_2.fq.gz --SAM -o /dev/stdout -t 48 | \
         samtools view -bS -@ 48 | samtools sort -n -@ 48 | samtools view -h | sed -e "s/\/.//" | samtools view -bS -o ${ID}.bam -@ 48
     ' sh {} \;

除了生物信息和使用的工具都有效之外，它似乎只执行了第一个命令行 — chromap -i -r $1 -o $1.index。然后，出于某种原因，一旦进入第二组指令，脚本就会返回以下内容：

找不到序列文件 /hi-c/_1.fq.gz

这表明它不知道我迄今为止成功使用的环境变量，或者它当时无法计算两个以上的操作？我没有任何线索……我还尝试了一些更简单的东西，例如

mkdir $d/scaffolding
find $d/*.fasta -size +100M -exec sh -c '
     chromap -i -r $1 -o $1.index && mv $1 $1.index $d/scaffolding
' sh {} \;

但 Bash 抱怨：mv: the destination '/scaffolding' is not a directory。

我应该怎么做才能让其中一个（或两个）工作？我是否遗漏了什么，如果有人对这个问题有一些见解，请告诉我！提前致谢。

bash
Martin Hope
Matteo
Asked: 2023-10-23 19:48:52 +0800 CST
  • 6

您好，我正在尝试一次下载大量文件；准确地说是279。每个都是大 BAM (~90GB)。我正在工作的集群有多个节点，幸运的是我可以一次分配多个实例。

鉴于这种情况，我想知道是否可以使用wget批处理文件（参见下面的示例）将每个下载分配到单独的节点以独立执行。

批处理文件.txt

<https_link_1> -O DNK07.bam
<https_link_2> -O mixe0007.bam
<https_link_3> -O IHW9118.bam
.
.

原则上，这不仅会加快速度，还会防止运行失败，因为此执行的挂机时间为 24 小时，并且不足以在一台计算机上连续下载所有这些文件。

我的 BASH 脚本如下所示：

#!/bin/bash
#
#SBATCH --nodes=279 --ntasks=1 --cpus-per-task=1
#SBATCH --time=24:00:00
#SBATCH --mem=10gb
#
#SBATCH --job-name=download
#SBATCH --output=sgdp.out
##SBATCH --array=[1-279]%279
#
#SBATCH --partition=<partition_name>
#SBATCH --qos=<qos_type>
#
#SBATCH --account=<user_account>

#NAMES=$1
#d=$(sed -n "$SLURM_ARRAY_TASK_ID"p $NAMES)

wget -i sgdp-download-list.txt

正如你所看到的，我正在考虑使用 an array job（不确定是否有效）；或者，我考虑分配 279 个节点，希望 SLURM 能够足够聪明地将每个下载发送到一个单独的节点（不确定......）。如果您知道一种有效的方法，欢迎提出任何建议。提前致谢！

bash