我想通过 gcsfuse 将大型二进制文件(mongodump bson 文件)存储在安装在 Google Compute 实例上的 Google Cloud Storage 存储桶中。一切都运行良好,除了每次我写文件时保险丝都会将每个文件复制到一个临时文件夹中。我的用例是在 GCS 上存储高达 4TB 的文件以降低我们的存储成本,但是如果我必须为临时文件保留足够大的磁盘,GCS 不会降低我的成本,因为我必须保留两种存储(磁盘和 GCS)。
有没有办法将大文件写入已安装的 GCS 存储桶,而无需在 GC 实例上使用所有临时空间?
这是一种无需安装 GCS 存储桶即可获得相同结果的方法。只需使用 gsutil 的流式上传功能将 mongodump 的输出直接通过管道传输到存储桶中:
有关其他信息,请参阅https://cloud.google.com/storage/docs/streaming。