主页 / unix / 问题 / 731992
Accepted
paropunam
Asked: 2023-01-17 09:29:45 +0800 CST

包含排序和 awk 的管道在从文件中获取随机行时将太多文件写入磁盘，最终由于存储不可用而失败

  • 772

我的 SSD 上有大约 500 GB 的可用磁盘空间。我正在尝试对 10 个 gzip 文件（每个文件大小约为 25GB）运行一个操作。parallel但是，当我在for 循环中执行此操作时，我一直用完存储空间，因为在同一目录中sort写入了很多内容temporary files，并且显然不会自行清理。

我试图从这些文件中随机抽取一定数量的行。

bcftools view "${FILES[i]}".vcf.gz | awk '{printf("%f\t%s\n",rand(),$0);}' | sort -t $'\t' -T . -k1,1g | head -n "${SUBSET_COUNT[i]}" | cut -f 2- >> "${FILES[i]}"_"${SUBSET_COUNT[i]}"_subset.vcf &

此操作对每个文件大约需要 1 小时（当我一个一个地执行时），但我想并行执行此操作，因为我需要对更多批次的此类文件重复此操作。

awk

1 个回答

  1. Best Answer

    我真的不明白你为什么要采用这种方法，我怀疑它无论如何都行不通，因为rand()它没有被重新初始化并且可能总是给出完全相同的输出。试试吧：

     $ for i in {1..10}; do awk -v i=$i 'BEGIN{print "Try "i",rand="rand()}'; done
Try 1,rand=0.924046
Try 2,rand=0.924046
Try 3,rand=0.924046
Try 4,rand=0.924046
Try 5,rand=0.924046
Try 6,rand=0.924046
Try 7,rand=0.924046
Try 8,rand=0.924046
Try 9,rand=0.924046
Try 10,rand=0.924046

    无论如何，整个事情似乎太复杂了，您可以shuf改用：

    bcftools view file.vcf.gz | shuf -n 100 > newfile.vcf

    这将从其输入中随机选择 100 行。当然，这不是需要标头的有效 VCF 文件。因此，如果您想生成有效的 VCF，请将标头添加到每个文件，然后随机选择 N 个非标头行：

    zgrep '^#' file.vcf.gz > newfile.vcf &&
zgrep -v '^#' file.vcf.gz | shuf -n 100 >> newfile.vcf

    或者，更好的是，避免编写未压缩的文本：

    zgrep '^#' file.vcf.gz | bgzip > newfile.vcf.gz &&
zgrep -v '^#' file.vcf.gz | shuf -n 100 | bgzip >> newfile.vcf.gz
    • 2

相关问题