主页 / server / 问题 / 1098139
Accepted
FelixHJ
Asked: 2022-04-09 02:46:24 +0800 CST

从 URL 下载到 GCP 存储桶

  • 772

给定一个指向大文件的 URL，是否有将该文件放入存储桶的快捷方式，而无需在本地下载然后上传？

除了构建一个执行任务并以某种方式在 GCP 中运行它的 docker 映像之外，还有更简单的方法吗？

google-cloud-platform google-cloud-storage

2 个回答

  1. Best Answer

    如链接中所述

    1： 您可以使用 curl 命令将数据直接流式传输到存储桶中。

    curl http://speedtest.tele2.net/10GB.zip | gsutil cp -gs://YOUR_BUCKET_NAME/10GB.zip

    2： 小于 4.6 GB 的文件。

    原始方法：只要您的下载小于 ~ 4.6 GB，此方法就有效。启动 Cloud Shell（在 GCP 中登录项目后右上角的第一个图标）并使用 wget 下载所需的文件。例如，要下载 7-Zip，请输入：wget https://www.7-zip.org/a/7z1805-x64.exe现在使用 Cloud Shell 用户主页中的文件，您可以将其复制到 Google Cloud Storage 存储桶使用 gsutil 命令：

    gsutil cp ./7z1805-x64.exe gs://your_bucket_name/

    3： 大于 4.6 GB 的文件。

    在您的 Cloud Shell 用户主目录中创建一个目录mkdir ~/mybucket

    现在使用 gcsfuse 将存储桶挂载到该目录中：

    gcsfuse bucket_name ~/mybucket

    将当前目录更改为挂载点目录：（cd mybucket如果您想运行“df -h.”以查看您在该挂载点获得了多少空间）现在使用 wget 将文件直接放入您的存储桶（示例使用 10GB 文件关闭网络）：

    wget https://speed.hetzner.de/10GB.bin

    有关更多信息，您可以参考存储传输服务和创建URL 列表的文档。

    • 2

  2. Google Cloud Storage 不提供从 URL 加载对象的功能。

    您必须编写自己的代码，使用 CLI 或托管服务，例如Storage Transfer Service

    • 0

相关问题