AskOverflow.Dev

AskOverflow.Dev Logo AskOverflow.Dev Logo

AskOverflow.Dev Navigation

  • 主页
  • 系统&网络
  • Ubuntu
  • Unix
  • DBA
  • Computer
  • Coding
  • LangChain

Mobile menu

Close
  • 主页
  • 系统&网络
    • 最新
    • 热门
    • 标签
  • Ubuntu
    • 最新
    • 热门
    • 标签
  • Unix
    • 最新
    • 标签
  • DBA
    • 最新
    • 标签
  • Computer
    • 最新
    • 标签
  • Coding
    • 最新
    • 标签
主页 / computer / 问题 / 1647954
Accepted
Ramon
Ramon
Asked: 2021-05-10 14:53:29 +0800 CST2021-05-10 14:53:29 +0800 CST 2021-05-10 14:53:29 +0800 CST

用于归档许多小文件的最具弹性的容器

  • 772

最近我设置了一个新系统来处理我的数据囤积需求。我在 StableBit DrivePool 中有几个 HDD(2TB、4TB、8TB,希望尽快添加更多),没有重复。一个外部 8TB 硬盘,我使用 Macrium Reflect 保存池中最重要数据的压缩和加密备份(将把它移到异地)。我还有另一个 8TB 硬盘来存储池中所有驱动器的 SnapRAID 奇偶校验,为最多一个硬盘故障提供冗余,并通过清理提供数据完整性。

池中的一些数据 (~4TB) 是不再更改的旧存档数据,并且偶尔会添加到其中。这是我在外部 8TB 硬盘中使用 Macrium Reflect 备份的大部分内容。我面临的问题是,这些数据主要由许多小文件组成,例如 2TB 中的约 200 万个文件。这使得大多数操作(重新平衡池、使用 Macrium Reflect 备份、与 SnapRAID 同步等)非常缓慢、低效且容易出错(例如,如果防病毒软件阻止了一些奇怪的文件,那么 SnapRAID 就会失败 - 我还没有完成第一次完全同步)。

所以我希望实现的解决方案是将所有这些小文件存储在一个容器中(例如 .tar、.zip、.7z 等),无需加密或压缩。我认为这应该通过大大减少文件数量来缓解大部分问题。所以我的问题是什么容器最适合这项任务。我不希望添加冗余,SnapRAID 或池中的重复可以更灵活地处理,所以不要查看 par/par2。但如果出现问题,我希望尽可能减少失败的风险。特别是我正在寻找对数据损坏最有弹性的容器。例如,

欢迎对我提出的解决方案或我的整个系统提出任何其他意见/建议。

backup file-corruption
  • 1 1 个回答
  • 112 Views

1 个回答

  • Voted
  1. Best Answer
    Elijas Dapšauskas
    2021-10-31T21:45:47+08:002021-10-31T21:45:47+08:00

    选项 1:ISO

    ISO跨不同的操作系统工作。易于附加新文件。比存档文件好。

    与存档文件(例如 TAR)不同,在存档文件(例如 TAR)中,您首先需要解压缩整个文件才能完整访问其内容,这可能需要大量时间来处理这么多文件,您根本不需要解压缩 ISO。只需将 ISO 挂载到文件系统中并直接从中读取即可。花费不到一秒钟的时间,所有数据都可以立即访问。

    您可以直接在命令行上使用Folder2Iso或 mkisofs 创建 ISO。

    (归功于 u/ImJacksLackOfBeetus)

    选项 2:具有最简单设置的 TAR

    Tar 确实是为这个用例设计的。只需使用最简单的设置(即每个文件的元数据、无压缩等)。将文件附加到存档也很容易。

    如果某些字节损坏,请按如下方式提取存档:

    使用pax提取具有完整元数据的所有文件:pax -r -v -E 3 -f broken.tar > broken.log 2>&1其中 E 是出现错误时您想要重试的次数(可能很好地检查一次)。然后,您可以检查日志中标头损坏的位置pax: Invalid header, starting valid header search.,您可以尝试手动恢复该特定文件。不幸的是,它没有告诉您错误在存档中的确切位置,但您可以通过在错误之前和之后提取的文件找到它。不过,您仍然需要自己检查提取的文件是否损坏。(感谢你/askingforeafriend)


    积分和更多信息可以在这个 Reddit 线程中找到。

    • 1

相关问题

  • 如果源中不存在,则 rsync 从目标中删除文件夹

  • 不确定 SYSTEM 驱动器在我的第二个硬盘驱动器上做什么

  • 备份机密文件的最安全方法,可能没有云存储?

  • 无需 SD 卡或 USB 数据线即可通过 wifi 进行 Android 备份

  • 重启 Debian 服务器后目录丢失

Sidebar

Stats

  • 问题 205573
  • 回答 270741
  • 最佳答案 135370
  • 用户 68524
  • 热门
  • 回答
  • Marko Smith

    如何减少“vmmem”进程的消耗?

    • 11 个回答
  • Marko Smith

    从 Microsoft Stream 下载视频

    • 4 个回答
  • Marko Smith

    Google Chrome DevTools 无法解析 SourceMap:chrome-extension

    • 6 个回答
  • Marko Smith

    Windows 照片查看器因为内存不足而无法运行?

    • 5 个回答
  • Marko Smith

    支持结束后如何激活 WindowsXP?

    • 6 个回答
  • Marko Smith

    远程桌面间歇性冻结

    • 7 个回答
  • Marko Smith

    子网掩码 /32 是什么意思?

    • 6 个回答
  • Marko Smith

    鼠标指针在 Windows 中按下的箭头键上移动?

    • 1 个回答
  • Marko Smith

    VirtualBox 无法以 VERR_NEM_VM_CREATE_FAILED 启动

    • 8 个回答
  • Marko Smith

    应用程序不会出现在 MacBook 的摄像头和麦克风隐私设置中

    • 5 个回答
  • Martin Hope
    Saaru Lindestøkke 为什么使用 Python 的 tar 库时 tar.xz 文件比 macOS tar 小 15 倍? 2021-03-14 09:37:48 +0800 CST
  • Martin Hope
    CiaranWelsh 如何减少“vmmem”进程的消耗? 2020-06-10 02:06:58 +0800 CST
  • Martin Hope
    Jim Windows 10 搜索未加载,显示空白窗口 2020-02-06 03:28:26 +0800 CST
  • Martin Hope
    v15 为什么通过电缆(同轴电缆)的千兆位/秒 Internet 连接不能像光纤一样提供对称速度? 2020-01-25 08:53:31 +0800 CST
  • Martin Hope
    andre_ss6 远程桌面间歇性冻结 2019-09-11 12:56:40 +0800 CST
  • Martin Hope
    Riley Carney 为什么在 URL 后面加一个点会删除登录信息? 2019-08-06 10:59:24 +0800 CST
  • Martin Hope
    zdimension 鼠标指针在 Windows 中按下的箭头键上移动? 2019-08-04 06:39:57 +0800 CST
  • Martin Hope
    jonsca 我所有的 Firefox 附加组件突然被禁用了,我该如何重新启用它们? 2019-05-04 17:58:52 +0800 CST
  • Martin Hope
    MCK 是否可以使用文本创建二维码? 2019-04-02 06:32:14 +0800 CST
  • Martin Hope
    SoniEx2 更改 git init 默认分支名称 2019-04-01 06:16:56 +0800 CST

热门标签

windows-10 linux windows microsoft-excel networking ubuntu worksheet-function bash command-line hard-drive

Explore

  • 主页
  • 问题
    • 最新
    • 热门
  • 标签
  • 帮助

Footer

AskOverflow.Dev

关于我们

  • 关于我们
  • 联系我们

Legal Stuff

  • Privacy Policy

Language

  • Pt
  • Server
  • Unix

© 2023 AskOverflow.DEV All Rights Reserve