主页 / unix / 问题 / 691758
Accepted
sunknudsen
Asked: 2022-02-23 08:48:31 +0800 CST

如何有效地将大型数据集归档和压缩成部分？

  • 772

目前使用以下模型，但需要双倍的磁盘空间来恢复压缩存档，因为必须先将所有部分通过管道传输到 tar，然后才能删除它们。

$ COPYFILE_DISABLE=true tar \
  --create \
  --directory ~/data/dataset \
  --use-compress-program lz4 \
  --verbose \
  . | \
  split \
  --bytes 10G \
  --numeric-suffixes \
  - \
  dataset.tar.lz4.part

$ cat dataset.tar.lz4.part* | \
  tar \
  --extract \
  --directory ~/data/dataset \
  --use-compress-program lz4 \
  --verbose

有没有更有效的模型，可以在解压缩时删除部分 FIFO（先进先出）？

tar split

1 个回答

  1. Best Answer

    你总是可以这样做：

    for part in dataset.tar.lz4.part*; do
  cat < "$part" || break
  rm -f -- "$part"
done |
  tar \
  --extract \
  --directory ~/data/dataset \
  --use-compress-program lz4 \
  --verbose

    不要gz为 -compressed 文件使用后缀lz4，这会产生误导，gz是 for gzip.

    • 2

相关问题