我有一个虚拟机设置,可以使用最新的 awscli v.2 将 25GB 卷中拆分的 15TB 数据同步到 S3。我有 100Mbps 的上传能力,这项工作可能需要 16 天。直到现在我还没有这方面的经验,我正试图限制我可能遇到的问题。
- 有没有人猜测虚拟机需要多少 RAM 才能完成这个过程?
- 2核VM可以吗?
- 在继续之前我可能需要检查其他东西吗?
谢谢
我有一个虚拟机设置,可以使用最新的 awscli v.2 将 25GB 卷中拆分的 15TB 数据同步到 S3。我有 100Mbps 的上传能力,这项工作可能需要 16 天。直到现在我还没有这方面的经验,我正试图限制我可能遇到的问题。
谢谢
我已经使用 2 核 2GB 机器完成了这项工作,没有任何问题。我在一台 12 核机器上用 gzip 压缩了文件,又节省了 30%。