主页 / computer / 问题 / 1490817
Accepted
Timothy C. Quinn
Asked: 2019-10-10 15:25:01 +0800 CST

跨平台压缩和跨越巨大目录的方法

  • 772

我已经关注了几篇关于如何创建可以稍后在相同或不同系统上重新加入的跨区文件的帖子。但是，我从未见过有关如何以跨平台工作的方式执行此操作的帖子。

我的要求是支持最流行的基于 posix 的操作系统（例如，Linux、FreeBSD 和 Cygwin 或 Windows 上的 WSL）。它不需要支持 Windows 操作系统本身。

它必须能够处理超过 100GB 的巨大目录，以最少的中间磁盘使用量保持高效，并且输出跨越 256MB 文件以使rsync文件易于管理。并且使用的库必须通过标准主流软件包在各种操作系统上随时可用。

主要用例是有一个脚本来压缩大型虚拟机，以便最终在单独的作业中通过线路传输到远程备份。

我尝试过使用推荐的tar、split和cat，但这在大多数情况下不起作用，因为跨平台的实现在功能上有所不同。

compression cross-platform

1 个回答

  1. Best Answer

    这最好使用两个工具来完成：tar和7zip. tar将目录内容与所有所有权和元数据一起打包，7zip并将处理压缩和跨越。

    这个过程已经过测试，FreeBSD但应该很容易通过Cygwin*移植到 Linux 或 windows 。这种方法会将虚拟机或其他大目录压缩并划分为更小的块，从而更容易存储和通过网络发送以进行远程备份。

    # Setup for Bundling
# . `BK_FLDR` is the folder to be backed up and terminal is in parent folder
export BK_FLDR=MY_HUGE_VM_vmbk_20210609
export BK_NAME=${BK_FLDR}_`date '+%m%d%y%H%M%S'`
# . Make a folder to restore to:
mkdir -p ../_bk/${BK_NAME}

# Archive procedure
cd ${BK_FLDR}
tar --use-compress-program "7z a -mx=1 -si ../_bk/${BK_NAME}/${BK_NAME}.t7z -v500m" -cvf *
# . At this point, you will have a bunch of .t7z.nnn files under `./_bk/${BK_NAME}`
# . unless the source dir is less than 500 MB (`-v500m` arg.) there will be only one file

# Restore procedure:
# . Go back to parent dir and create restore folder
cd ..
export OUT_DIR=./_restored/${BK_NAME}
mkdir -p ${OUT_DIR}
# . Restore files
7z x -so ./_bk/${BK_NAME}/${BK_NAME}.t7z.001 | tar -xf - -C ${OUT_DIR}

    * Cygwin 可能无法像 Windows 中的所有权一样正确处理所有文件数据，但应该可以处理所有文件数据和时间戳。

    • 0

相关问题