AskOverflow.Dev

AskOverflow.Dev Logo AskOverflow.Dev Logo

AskOverflow.Dev Navigation

  • 主页
  • 系统&网络
  • Ubuntu
  • Unix
  • DBA
  • Computer
  • Coding
  • LangChain

Mobile menu

Close
  • 主页
  • 系统&网络
    • 最新
    • 热门
    • 标签
  • Ubuntu
    • 最新
    • 热门
    • 标签
  • Unix
    • 最新
    • 标签
  • DBA
    • 最新
    • 标签
  • Computer
    • 最新
    • 标签
  • Coding
    • 最新
    • 标签
主页 / server / 问题

问题[google-cloud-storage](server)

Martin Hope
FelixHJ
Asked: 2022-04-09 02:46:24 +0800 CST

从 URL 下载到 GCP 存储桶

  • 1

给定一个指向大文件的 URL,是否有将该文件放入存储桶的快捷方式,而无需在本地下载然后上传?

除了构建一个执行任务并以某种方式在 GCP 中运行它的 docker 映像之外,还有更简单的方法吗?

google-cloud-platform google-cloud-storage
  • 2 个回答
  • 900 Views
Martin Hope
ServerMonkey
Asked: 2022-04-05 23:38:02 +0800 CST

GCS - 互联网出口费用

  • 0

有谁知道我在哪里可以找到互联网流量的谷歌云存储定价?

做一些设计工作,我需要计算出多个 GCS 存储桶向 Internet 提供内容的成本可能是多少,并且很难找到关于每 GB 出口流量成本的明确资源。

此页面包含大量信息,但由于某种原因未提及 Internet:https ://cloud.google.com/storage/pricing#network-pricing

google-cloud-platform google-cloud-storage
  • 1 个回答
  • 172 Views
Martin Hope
questionto42standswithUkraine
Asked: 2022-01-21 03:57:20 +0800 CST

如何在 Google Cloud Storage 存储桶中保存选定的 csv 文件后触发事件

  • 1

尝试制作同步管道时,我需要在将 csv 文件保存在 Google Cloud Storage 中后从 Google Cloud Storage 复制它。复制作业不必在保存后立即触发,它也可以至少在某个时间范围内发生。在文件保存之前可能不会发生。因此,触发事件或 cronjob 都是可能的,或者您可能会提出其他建议。

保存在 Google Cloud Storage 中后,如何触发复制所选 csv 文件?我可以使用云功能来完成复制工作还是有其他方法?

files google-cloud-platform copy google-cloud-storage
  • 1 个回答
  • 596 Views
Martin Hope
questionto42standswithUkraine
Asked: 2022-01-21 02:51:20 +0800 CST

仅将 Google Cloud Storage 存储桶中文件的元数据读取到 Python 中的 Cloud Function 中(不加载文件或其数据!)

  • 0

我需要Cloud Storage for Firebase 之类的东西:下载所有文件的元数据,只是不是在 Angular 中,而是在 Python 中,只是为了选择的文件。

目的是在云函数完成语句时返回此信息,return或者在文件保存在 Google 存储桶中后立即在云函数运行期间记录它。有了这些信息,可以在给定的时间戳之后开始另一个作业。管道是同步的。

我发现了关于将文件或其数据加载到云函数中的 Q/A

  • 使用/tmp目录,例如通过 Cloud Functions 从云存储读取数据
  • 或使用 storage.Client() 或 pandas df.read_csv() 加载数据(而不是文件),例如如何将文件从谷歌云存储加载到谷歌云功能

从外部文件中将数据统计信息提取到正在运行的 Cloud Function 中。

由于我不想随时将大文件或其数据保存在内存中以获取一些元数据,因此我只想从存储在 Google Storage 存储桶中的该文件中下载元数据,即时间戳和大小。

如何仅将 Google Cloud Storage 存储桶中的 csv 文件的元数据提取到 Google Cloud Function?

python google-cloud-storage google-cloud-functions metadata
  • 1 个回答
  • 674 Views
Martin Hope
sffc
Asked: 2021-11-08 12:46:16 +0800 CST

如何将 GCP 云存储桶元数据同步到数据库?

  • 0

我有大量对象,目前大约 100 万个,存储在 GCP 云存储桶中。对象以每天 1-2 千个的速度添加。我想有效地运行查询以根据这些对象的元数据查找存储桶中的对象,包括文件名中缀/后缀、创建日期、存储类等。

Cloud Storage API 允许按文件名前缀 ( docs ) 进行搜索,但回调需要几秒钟才能完成。我可以使用gsutil, like进行中缀查询gsutil ls gs://my-bucket/foo-*-bar.txt,但这更慢。此外,这些查询被视为A 类操作,会产生成本。

与其使用 Cloud Storage API 来搜索我的存储桶,我想我可以将存储桶中所有对象的列表添加到 Bigtable 或 SQL 等数据库中。数据库应该与存储桶的所有更改保持同步,至少在创建或删除对象时,最好是在修改、存储类更改等时。

实现这一目标的最佳方法是什么?

google-cloud-platform google-cloud-storage google-cloud-sql
  • 1 个回答
  • 236 Views
Martin Hope
neuberfran
Asked: 2021-08-03 13:53:45 +0800 CST

googleapi:错误 403:567x@cloudbuild.gserviceaccount.com 没有 storage.objects.get 访问 Google Cloud Storage 对象的权限

  • 3

我继续基于此尝试我的项目:https ://github.com/GoogleCloudPlatform/iot-smart-home-cloud

我的问题是:

cloudfunctions.googleapis.com google.cloud.functions.v1.CloudFunctionsService.UpdateFunction projects/casaminha-2e0ca/locations/us-central1/functions/syncOnRemove neuberfran@gmail.com 构建失败:无法解析源:googleapi:错误 403:567xxxx1772xxxxxxxxxxxx @cloudbuild.gserviceaccount.com 没有 storage.objects.get 访问 Google Cloud Storage 对象的权限。禁止 com.google.net.rpc3.client.RpcClientException: APPLICATION_ERROR;google.devtools.cloudbuild.v1/ArgoAdminV1.CreateBuild;无法解析来源:googleapi:错误 403:5676xxxxxx062@cloudbuild.gserviceaccount.com 没有 storage.objects.get 访问 Google Cloud Storage 对象。禁止;AppErrorCode=3;StartTimeMs=999999999999540;unknown;ResFormat=AUTOMATIC; ServerTimeSec=0.999999999999999;LogBytes=256;非

我在 2021 年 7 月 27 日云构建或云运行中删除(我不在我的项目中使用云运行)我在 GCP 控制台中删除。我认为这就是我在谷歌上的行动项目中出现凭据错误的原因。然后我开始收到当前的错误。

我记得我删除的服务帐户只与谷歌控制器相关联(那里有一个问号)

我认为 gcf 命令将重建它。但不确定这是否正确。而且我也不知道如何使用gcf-sources-<PROJECT_NUMBER>-

我一直在使用 firestore 和 GCP 在 google 上尝试操作。

命令:

firebase --project casaminha-2e0ca 功能:配置:设置 cloudiot.region=us-central1

firebase --project casaminha-2e0ca 功能:配置:设置 smarthome.id=567617xxxxxxxxxxxxxx9r9upjxxxxxxx0t.apps.googleusercontent.com smarthome.secret=D99999999999

firebase --project casaminha-2e0ca 功能:配置:设置 smarthome.key="99999999"

firebase 部署 --project casaminha-2e0ca

这是我在 github 中的项目:https ://github.com/neuberfran/firebasefunction

这是我的问题跟踪器:https : //issuetracker.google.com/issues/194942955 ?pli=1

你能帮我吗

google-cloud-platform google-cloud-storage
  • 3 个回答
  • 1822 Views
Martin Hope
Carlos Rodriguez
Asked: 2021-07-14 01:05:49 +0800 CST

由于缺少 storage.buckets.get 访问权限,用于创建存储桶的 GCP 部署失败

  • 0

我想使用部署管理器以编程方式创建云存储桶,但部署失败并出现以下错误:

ERROR: (gcloud.deployment-manager.deployments.create) Error in Operation [operation-1626165906845-5c6fd413930ca-1a833b6c-81671664]: errors:
- code: RESOURCE_ERROR
  location: /deployments/example-config/resources/storage-bucket
  message: '{"ResourceType":"storage.v1.bucket","ResourceErrorCode":"403","ResourceErrorMessage":{"code":403,"errors":[{"domain":"global","message":"471700050969@cloudservices.gserviceaccount.com
    does not have storage.buckets.get access to the Google Cloud Storage bucket.","reason":"forbidden"}],"message":"471700050969@cloudservices.gserviceaccount.com
    does not have storage.buckets.get access to the Google Cloud Storage bucket.","statusMessage":"Forbidden","requestPath":"https://storage.googleapis.com/storage/v1/b/storage-bucket","httpMethod":"GET","suggestion":"Consider
    granting permissions to 471700050969@cloudservices.gserviceaccount.com"}}'

但是,我已添加roles/storage-admin到错误中提到的帐户,并根据策略疑难解答授予storage.buckets.getAPI 调用访问权限:

在此处输入图像描述

这是yaml我使用的文件:

imports:
  - path: template.jinja

resources:
  - name: template
    type: template.jinja
    properties:
      storage:
        bucket: qa-bucket-68586

这是jinja模板:

resources:
  - name: storage-bucket
    type: storage.v1.bucket
    properties:
      kind: storage#bucket
      name: {{ properties["storage"]["bucket"] }}
      location: EU
      projectNumber: {{ env["project_number"] }}
      storageClass: STANDARD
google-cloud-platform google-cloud-storage google-iam deployment-manager
  • 1 个回答
  • 307 Views
Martin Hope
Jamil Aslam
Asked: 2021-07-05 05:43:04 +0800 CST

在更改防火墙设置后,gcp VM(windows server 2016)上的 RDP 会话丢失

  • -1

在我的 GCP windows VM 上设置了一些防火墙设置后,我丢失了 RDP 会话,现在无法通过 IP、RDP 或 URL 访问。我尝试ping该IP但请求超时。

有人可以帮忙吗?

remote-desktop google-compute-engine google-cloud-storage windows-firewall
  • 1 个回答
  • 87 Views
Martin Hope
user32882
Asked: 2021-06-15 09:06:11 +0800 CST

GCP 存储拒绝我访问 Cloud Storage 上的存储分区,即使我显然拥有必要的权限

  • 0

我的一位同事创建了一个谷歌云平台项目,我们希望为其使用云存储产品。他们让我成为 IAM 权限的共同所有者和存储管理员。根据谷歌文档,存储管理员拥有storage.objects.*权限,所以我应该能够get存储对象。

我写了一个简单的python脚本来下载一些内容如下(仅限伪代码):

storage_client = storage.Client()
bucket = storage_client.bucket(BUCKET_NAME)
blob = bucket.blob(source_blob_name)
blob.download_to_filename(destination_file_name)

但是,最后一行会引发错误:

google.api_core.exceptions.Forbidden: 403 GET 没有 storage.objects.get 访问 Google Cloud Storage 对象。

我在云控制台中一次又一次地检查了我的权限,并确保我的GOOGLE_APPLICATION_CREDENTIALS环境变量已定义。为什么 GCP 拒绝我访问此存储桶,我该如何解决?

permissions python google-cloud-platform google-cloud-storage
  • 1 个回答
  • 520 Views
Martin Hope
Marcatectura
Asked: 2021-05-01 13:03:48 +0800 CST

通过 ACL 限制查看者对云存储对象的访问

  • 2

我在 Cloud Storage Bucket 中托管了一个静态站点,并设置了细粒度的权限。我正在尝试按对象设置 ACL 权限,以便用户只有在拥有列入白名单的电子邮件地址(不一定是谷歌)或其他标识符(例如唯一访问 URL)时才能访问特定资源。

allUsers但是,如果不授予对or的访问权限,我无法确定如何获取对象的 URL allAuthenticatedUsers,这反过来会破坏我的 ACL。有没有办法实现上述目标?

google-cloud-platform access-control-list google-cloud-storage
  • 1 个回答
  • 221 Views

Sidebar

Stats

  • 问题 205573
  • 回答 270741
  • 最佳答案 135370
  • 用户 68524
  • 热门
  • 回答
  • Marko Smith

    新安装后 postgres 的默认超级用户用户名/密码是什么?

    • 5 个回答
  • Marko Smith

    SFTP 使用什么端口?

    • 6 个回答
  • Marko Smith

    命令行列出 Windows Active Directory 组中的用户?

    • 9 个回答
  • Marko Smith

    什么是 Pem 文件,它与其他 OpenSSL 生成的密钥文件格式有何不同?

    • 3 个回答
  • Marko Smith

    如何确定bash变量是否为空?

    • 15 个回答
  • Martin Hope
    Tom Feiner 如何按大小对 du -h 输出进行排序 2009-02-26 05:42:42 +0800 CST
  • Martin Hope
    Noah Goodrich 什么是 Pem 文件,它与其他 OpenSSL 生成的密钥文件格式有何不同? 2009-05-19 18:24:42 +0800 CST
  • Martin Hope
    Brent 如何确定bash变量是否为空? 2009-05-13 09:54:48 +0800 CST
  • Martin Hope
    cletus 您如何找到在 Windows 中打开文件的进程? 2009-05-01 16:47:16 +0800 CST

热门标签

linux nginx windows networking ubuntu domain-name-system amazon-web-services active-directory apache-2.4 ssh

Explore

  • 主页
  • 问题
    • 最新
    • 热门
  • 标签
  • 帮助

Footer

AskOverflow.Dev

关于我们

  • 关于我们
  • 联系我们

Legal Stuff

  • Privacy Policy

Language

  • Pt
  • Server
  • Unix

© 2023 AskOverflow.DEV All Rights Reserve