给定一个指向大文件的 URL,是否有将该文件放入存储桶的快捷方式,而无需在本地下载然后上传?
除了构建一个执行任务并以某种方式在 GCP 中运行它的 docker 映像之外,还有更简单的方法吗?
给定一个指向大文件的 URL,是否有将该文件放入存储桶的快捷方式,而无需在本地下载然后上传?
除了构建一个执行任务并以某种方式在 GCP 中运行它的 docker 映像之外,还有更简单的方法吗?
有谁知道我在哪里可以找到互联网流量的谷歌云存储定价?
做一些设计工作,我需要计算出多个 GCS 存储桶向 Internet 提供内容的成本可能是多少,并且很难找到关于每 GB 出口流量成本的明确资源。
此页面包含大量信息,但由于某种原因未提及 Internet:https ://cloud.google.com/storage/pricing#network-pricing
尝试制作同步管道时,我需要在将 csv 文件保存在 Google Cloud Storage 中后从 Google Cloud Storage 复制它。复制作业不必在保存后立即触发,它也可以至少在某个时间范围内发生。在文件保存之前可能不会发生。因此,触发事件或 cronjob 都是可能的,或者您可能会提出其他建议。
保存在 Google Cloud Storage 中后,如何触发复制所选 csv 文件?我可以使用云功能来完成复制工作还是有其他方法?
我需要Cloud Storage for Firebase 之类的东西:下载所有文件的元数据,只是不是在 Angular 中,而是在 Python 中,只是为了选择的文件。
目的是在云函数完成语句时返回此信息,return
或者在文件保存在 Google 存储桶中后立即在云函数运行期间记录它。有了这些信息,可以在给定的时间戳之后开始另一个作业。管道是同步的。
我发现了关于将文件或其数据加载到云函数中的 Q/A
/tmp
目录,例如通过 Cloud Functions 从云存储读取数据从外部文件中将数据统计信息提取到正在运行的 Cloud Function 中。
由于我不想随时将大文件或其数据保存在内存中以获取一些元数据,因此我只想从存储在 Google Storage 存储桶中的该文件中下载元数据,即时间戳和大小。
如何仅将 Google Cloud Storage 存储桶中的 csv 文件的元数据提取到 Google Cloud Function?
我有大量对象,目前大约 100 万个,存储在 GCP 云存储桶中。对象以每天 1-2 千个的速度添加。我想有效地运行查询以根据这些对象的元数据查找存储桶中的对象,包括文件名中缀/后缀、创建日期、存储类等。
Cloud Storage API 允许按文件名前缀 ( docs ) 进行搜索,但回调需要几秒钟才能完成。我可以使用gsutil
, like进行中缀查询gsutil ls gs://my-bucket/foo-*-bar.txt
,但这更慢。此外,这些查询被视为A 类操作,会产生成本。
与其使用 Cloud Storage API 来搜索我的存储桶,我想我可以将存储桶中所有对象的列表添加到 Bigtable 或 SQL 等数据库中。数据库应该与存储桶的所有更改保持同步,至少在创建或删除对象时,最好是在修改、存储类更改等时。
实现这一目标的最佳方法是什么?
我继续基于此尝试我的项目:https ://github.com/GoogleCloudPlatform/iot-smart-home-cloud
我的问题是:
cloudfunctions.googleapis.com google.cloud.functions.v1.CloudFunctionsService.UpdateFunction projects/casaminha-2e0ca/locations/us-central1/functions/syncOnRemove [email protected] 构建失败:无法解析源:googleapi:错误 403:567xxxx1772xxxxxxxxxxxx @cloudbuild.gserviceaccount.com 没有 storage.objects.get 访问 Google Cloud Storage 对象的权限。禁止 com.google.net.rpc3.client.RpcClientException: APPLICATION_ERROR;google.devtools.cloudbuild.v1/ArgoAdminV1.CreateBuild;无法解析来源:googleapi:错误 403:[email protected] 没有 storage.objects.get 访问 Google Cloud Storage 对象。禁止;AppErrorCode=3;StartTimeMs=999999999999540;unknown;ResFormat=AUTOMATIC; ServerTimeSec=0.999999999999999;LogBytes=256;非
我在 2021 年 7 月 27 日云构建或云运行中删除(我不在我的项目中使用云运行)我在 GCP 控制台中删除。我认为这就是我在谷歌上的行动项目中出现凭据错误的原因。然后我开始收到当前的错误。
我记得我删除的服务帐户只与谷歌控制器相关联(那里有一个问号)
我认为 gcf 命令将重建它。但不确定这是否正确。而且我也不知道如何使用gcf-sources-<PROJECT_NUMBER>-
我一直在使用 firestore 和 GCP 在 google 上尝试操作。
命令:
firebase --project casaminha-2e0ca 功能:配置:设置 cloudiot.region=us-central1
firebase --project casaminha-2e0ca 功能:配置:设置 smarthome.id=567617xxxxxxxxxxxxxx9r9upjxxxxxxx0t.apps.googleusercontent.com smarthome.secret=D99999999999
firebase --project casaminha-2e0ca 功能:配置:设置 smarthome.key="99999999"
firebase 部署 --project casaminha-2e0ca
这是我在 github 中的项目:https ://github.com/neuberfran/firebasefunction
这是我的问题跟踪器:https : //issuetracker.google.com/issues/194942955 ?pli=1
你能帮我吗
我想使用部署管理器以编程方式创建云存储桶,但部署失败并出现以下错误:
ERROR: (gcloud.deployment-manager.deployments.create) Error in Operation [operation-1626165906845-5c6fd413930ca-1a833b6c-81671664]: errors:
- code: RESOURCE_ERROR
location: /deployments/example-config/resources/storage-bucket
message: '{"ResourceType":"storage.v1.bucket","ResourceErrorCode":"403","ResourceErrorMessage":{"code":403,"errors":[{"domain":"global","message":"[email protected]
does not have storage.buckets.get access to the Google Cloud Storage bucket.","reason":"forbidden"}],"message":"[email protected]
does not have storage.buckets.get access to the Google Cloud Storage bucket.","statusMessage":"Forbidden","requestPath":"https://storage.googleapis.com/storage/v1/b/storage-bucket","httpMethod":"GET","suggestion":"Consider
granting permissions to [email protected]"}}'
但是,我已添加roles/storage-admin
到错误中提到的帐户,并根据策略疑难解答授予storage.buckets.get
API 调用访问权限:
这是yaml
我使用的文件:
imports:
- path: template.jinja
resources:
- name: template
type: template.jinja
properties:
storage:
bucket: qa-bucket-68586
这是jinja
模板:
resources:
- name: storage-bucket
type: storage.v1.bucket
properties:
kind: storage#bucket
name: {{ properties["storage"]["bucket"] }}
location: EU
projectNumber: {{ env["project_number"] }}
storageClass: STANDARD
在我的 GCP windows VM 上设置了一些防火墙设置后,我丢失了 RDP 会话,现在无法通过 IP、RDP 或 URL 访问。我尝试ping该IP但请求超时。
有人可以帮忙吗?
我的一位同事创建了一个谷歌云平台项目,我们希望为其使用云存储产品。他们让我成为 IAM 权限的共同所有者和存储管理员。根据谷歌文档,存储管理员拥有storage.objects.*
权限,所以我应该能够get
存储对象。
我写了一个简单的python脚本来下载一些内容如下(仅限伪代码):
storage_client = storage.Client()
bucket = storage_client.bucket(BUCKET_NAME)
blob = bucket.blob(source_blob_name)
blob.download_to_filename(destination_file_name)
但是,最后一行会引发错误:
google.api_core.exceptions.Forbidden: 403 GET 没有 storage.objects.get 访问 Google Cloud Storage 对象。
我在云控制台中一次又一次地检查了我的权限,并确保我的GOOGLE_APPLICATION_CREDENTIALS
环境变量已定义。为什么 GCP 拒绝我访问此存储桶,我该如何解决?
我在 Cloud Storage Bucket 中托管了一个静态站点,并设置了细粒度的权限。我正在尝试按对象设置 ACL 权限,以便用户只有在拥有列入白名单的电子邮件地址(不一定是谷歌)或其他标识符(例如唯一访问 URL)时才能访问特定资源。
allUsers
但是,如果不授予对or的访问权限,我无法确定如何获取对象的 URL allAuthenticatedUsers
,这反过来会破坏我的 ACL。有没有办法实现上述目标?