我在 AWS 上有一个带有大量 25GB 文件(1000 个)的 EBS(弹性块存储)。我想为每个文件计算一个 SHA256 和。
哪个 EC2 实例最适合此类任务(cpu 优化?许多内核?存储优化?)。我可以以某种方式并行散列文件吗?如何优化性能?
我在 AWS 上有一个带有大量 25GB 文件(1000 个)的 EBS(弹性块存储)。我想为每个文件计算一个 SHA256 和。
哪个 EC2 实例最适合此类任务(cpu 优化?许多内核?存储优化?)。我可以以某种方式并行散列文件吗?如何优化性能?
我有一个虚拟机设置,可以使用最新的 awscli v.2 将 25GB 卷中拆分的 15TB 数据同步到 S3。我有 100Mbps 的上传能力,这项工作可能需要 16 天。直到现在我还没有这方面的经验,我正试图限制我可能遇到的问题。
谢谢