AskOverflow.Dev

AskOverflow.Dev Logo AskOverflow.Dev Logo

AskOverflow.Dev Navigation

  • 主页
  • 系统&网络
  • Ubuntu
  • Unix
  • DBA
  • Computer
  • Coding
  • LangChain

Mobile menu

Close
  • 主页
  • 系统&网络
    • 最新
    • 热门
    • 标签
  • Ubuntu
    • 最新
    • 热门
    • 标签
  • Unix
    • 最新
    • 标签
  • DBA
    • 最新
    • 标签
  • Computer
    • 最新
    • 标签
  • Coding
    • 最新
    • 标签
主页 / server / 问题

问题[gcsfuse](server)

Martin Hope
smontanaro
Asked: 2021-11-19 11:27:31 +0800 CST

对如何操作 GCS 存储桶/对象权限感到困惑

  • 1

在我的笔记本电脑上,我有一个目录,其中包含一个子目录,该子目录又包含一堆 HTML 文件。它看起来像这样:

% ls -lR 2000-09
2000-09:
total 12
drwxrwxr-x 2 skip skip 12288 Nov 18 07:42 html

2000-09/html:
total 648
-rw-r--r-- 1 skip skip 18489 Dec  4  2019 index.html
-rw-r--r-- 1 skip skip 18489 Dec  4  2019 maillist.html
-rw-r--r-- 1 skip skip  3468 Dec  4  2019 msg00000.html
-rw-r--r-- 1 skip skip  3270 Dec  4  2019 msg00001.html
-rw-r--r-- 1 skip skip  3194 Dec  4  2019 msg00002.html
...

我使用 gsutil 将该目录上传到我的存储桶:

% gsutil -m cp -r 2000-09 gs://my-secret-bucket/
Copying file://2000-09/html/msg00070.html [Content-Type=text/html]...
Copying file://2000-09/html/msg00060.html [Content-Type=text/html]...           
Copying file://2000-09/html/msg00029.html [Content-Type=text/html]...           
Copying file://2000-09/html/msg00052.html [Content-Type=text/html]...           
...

通过控制台看起来不错。我看到2000-09了,在那html里面,在那一堆文件里面。到目前为止,一切都很好。

现在我打开一个云外壳并使用以下方法安装该存储桶gcsfuse:

gcsfuse my-secret-bucket ~/mnt

但生成的目录视图显示为空:

me@cloudshell:~ (whatever)$ ls -l ~/mnt
total 0
me@cloudshell:~ (whatever)$

然后我将几个文件直接上传到我的存储桶中(在顶层)

% gsutil -m cp wrench?.jpg gs://my-secret-bucket/
Copying file://wrench1.jpg [Content-Type=image/jpeg]...
Copying file://wrench2.jpg [Content-Type=image/jpeg]...                         
/ [2/2 files][  1.0 MiB/  1.0 MiB] 100% Done                                    
Operation completed over 2 objects/1.0 MiB.

我确认它们在控制台中,然后再次列出我安装的存储桶。它们是可见的,我可以阅读它们:

$ ls -l ~/mnt
total 1049
-rw-r--r-- 1 me me 432451 Nov 18 19:09 wrench1.jpg
-rw-r--r-- 1 me me 640526 Nov 18 19:09 wrench2.jpg
me@cloudshell:~ (whatever) cksum mnt/wrench1.jpg
3659533210 432451 mnt/wrench1.jpg
me@cloudshell:~ (whatever)$

似乎文件在顶层可见,但我不知道如何使目录及其内容可见。对于像我这样的老 Unix 人来说,Web 界面非常令人困惑,他们希望rw-r--r--在查看长列表时看到类似的东西,并chmod 0644 ...在看起来不正确时执行它。如何使我的 2000-09 对象/文件夹/目录和(递归)其全部内容可见?最终,我希望它对 GCP 托管的 Flask Web 应用程序可见(也归我所有,因此不一定公开可见)。

permissions google-cloud-platform gcsfuse
  • 1 个回答
  • 258 Views
Martin Hope
TylrRssl1
Asked: 2021-04-03 01:10:17 +0800 CST

gcsfuse 无法在 centos-7 上安装

  • 2

自 4 月 1 日星期四以来,我们在每天从基本 centos-7 映像启动的 GCP comoute 虚拟机上遇到问题。

启动时,启动脚本将使用此处列出的命令安装 gcsFuse: https ://github.com/GoogleCloudPlatform/gcsfuse/blob/master/docs/installing.md#centos-and-red-hat-latest-releases

自最新版本以来,此安装方法现在失败:

Loaded plugins: fastestmirror
Loading mirror speeds from cached hostfile
epel/x86_64/metalink                                                                                                                                                                                                           | 8.6 kB  00:00:00     
 * base: mirror.atl.genesisadaptive.com
 * epel: iad.mirror.rackspace.com
 * extras: mirrors.mit.edu
 * updates: mirrors.raystedman.org
base                                                                                                                                                                                                                           | 3.6 kB  00:00:00     
extras                                                                                                                                                                                                                         | 2.9 kB  00:00:00     
gcsfuse/signature                                                                                                                                                                                                              |  844 B  00:00:00     
Retrieving key from https://packages.cloud.google.com/yum/doc/yum-key.gpg
Retrieving key from https://packages.cloud.google.com/yum/doc/rpm-package-key.gpg
gcsfuse/signature                                                                                                                                                                                                              | 1.4 kB  00:00:00 !!! 
https://packages.cloud.google.com/yum/repos/gcsfuse-el7-x86_64/repodata/repomd.xml: [Errno -1] repomd.xml signature could not be verified for gcsfuse
Trying other mirror.

有谁知道如何解决这个错误?

google-cloud-platform gcsfuse
  • 1 个回答
  • 776 Views
Martin Hope
el.severo
Asked: 2020-06-18 14:59:27 +0800 CST

gcsfuse 在非 root 用户上自动挂载

  • 0

目前我有一个正在运行的虚拟机,CentOS 7并希望使用非 root 用户自动安装一个存储桶。

我已经安装了 NextCloud 并希望将本地数据文件夹指向Google Cloud Storage.

尝试了各种示例,但它们似乎都不起作用。

这是我尝试过的:

挂载有效,但不能将任何文件/文件夹创建为子文件夹或放置在已挂载文件夹中的文件

gcsfuse my-nextcloud-bucket /mnt/myserverdata/cloudmysite/public_html/data
gcsfuse -o nonempty my-nextcloud-bucketcom /mnt/myserverdata/cloudmysite/public_html/data

以下是我尝试过的每次尝试/etc/fstab(文件结尾)

my-nextcloud-bucket /mnt/myserverdata/cloudmysite/public_html/data gcsfuse rw,noauto,cloudmysite,key_file=/mnt/myserverdata/cloudmysite/_gcloud-credentials/gc--1f54d021ca11.json
my-nextcloud-bucket /mnt/myserverdata/cloudmysite/public_html/data gcsfuse rw,gid=1068,uid=1065,noauto,user,allow_other,_netdev
my-nextcloud-bucket /mnt/myserverdata/cloudmysite/public_html/data gcsfuse rw,allow_other,file_mode=777,dir_mode=777

如何在cloudmysite非 root 用户下挂载(fstab 或重新启动以保持持久性)?

mount google-cloud-platform fstab gcloud gcsfuse
  • 1 个回答
  • 1665 Views
Martin Hope
aopal
Asked: 2019-02-23 08:46:34 +0800 CST

当我映射到已安装存储桶中的文件时,它是如何/何时下载的?

  • 0

我正在使用一个映射大型资源文件的库。我正在考虑将该资源文件存储在 gcloud 存储桶中并使用 GCSFuse 使该文件可用于映射,而不是构建我自己的解决方案来手动下载该文件。

出于性能原因,当我通过 gcsfuse 映射到存储桶中的文件时,我想知道何时实际下载文件:如果在我映射时它是一次全部下载,那是理想的。如果在我通过 mmapped 指针访问文件的不同部分时下载了块,我想由于多次调用存储桶,这会变慢,如果是这种情况,我可能会使用另一种方法。

gcsfuse
  • 1 个回答
  • 209 Views
Martin Hope
Cam
Asked: 2017-02-14 09:23:53 +0800 CST

GCSFuse - Fusermount:安装点不为空

  • 2

使用 gcsfuse 在脚本内的服务器上本地挂载一个点。在 Ubuntu 14 LTS 服务器上运行。

我有两个保险丝挂载点,脚本将数据从其他挂载点传输到其中。

此脚本适用于其中一个安装点,但不适用于第二个。

gcsfuse --debug_fuse bucket /mnt/gcloud-bucket
Using mount point: /mnt/gcloud-bucket
Opening GCS connection...
Opening bucket...
Mounting file system...
daemonize.Run: readFromProcess: sub-process: mountWithArgs: mountWithConn: Mount: mount: running fusermount: exit status 1

stderr:
fusermount: mountpoint is not empty
fusermount: if you are sure this is safe, use the 'nonempty' mount option

我检查了我的脚本是否有语法错误,它与工作脚本相同,我尝试在 shell 中运行该命令,但它继续返回错误。

我也尝试重新启动以清除安装,但这并没有解决。

如果我去 /mnt/gcloud-bucket 来自云的数据都在那里并已安装,我可以浏览它,但它不会出现在 mount -l 输出中。

我也尝试过 umount 但未找到安装。

谢谢,

凸轮

ubuntu fuse gcloud gcsfuse ubuntu-14.04
  • 1 个回答
  • 6627 Views
Martin Hope
user57187
Asked: 2016-10-23 18:52:59 +0800 CST

gcsfuse 是否将所有数据同步到它所安装的系统?

  • 3

场景:

  • 我已将 gcsfuse 驱动器安装到我的 docker 容器中,因此我可以存储和读取来自 Google Cloud Storage 的数据
  • docker 容器只有几个 gig 的存储空间,但我在 Google Cloud Sorage 中可能有 TB 级的数据

问题:

gcsfuse 是从 Google Cloud Storage 下载所有数据,还是仅在我尝试读取文件时才检索文件?相反,一旦我将数据写入已安装的驱动器,该数据是否会保留在本地存储,还是会发送到 GCS 并从本地存储中删除?

总体关注,以防我问错问题

我担心 gcsfuse 安装的驱动器可能会导致所有容器存储都用完,即使数据实际上存储在 Google Cloud 上。我正在尝试评估这是否是一个合理的问题,或者 gcsfuse 是否可以处理此类情况。

对于那些要告诉我“只需阅读文档”的人

是的,我试过了。如果这些信息在文件中,那么它被埋得足够深或足够模糊,这可能值得在这里提出一个问题。

google-cloud-platform docker google-cloud-storage gcsfuse
  • 1 个回答
  • 1037 Views
Martin Hope
Thibault Dory
Asked: 2016-09-27 05:04:02 +0800 CST

将大文件存储在 Google Cloud Storage 中,无需本地副本

  • 0

我想通过 gcsfuse 将大型二进制文件(mongodump bson 文件)存储在安装在 Google Compute 实例上的 Google Cloud Storage 存储桶中。一切都运行良好,除了每次我写文件时保险丝都会将每个文件复制到一个临时文件夹中。我的用例是在 GCS 上存储高达 4TB 的文件以降低我们的存储成本,但是如果我必须为临时文件保留足够大的磁盘,GCS 不会降低我的成本,因为我必须保留两种存储(磁盘和 GCS)。

有没有办法将大文件写入已安装的 GCS 存储桶,而无需在 GC 实例上使用所有临时空间?

google-cloud-platform google-compute-engine google-cloud-storage gcsfuse
  • 1 个回答
  • 1061 Views

Sidebar

Stats

  • 问题 205573
  • 回答 270741
  • 最佳答案 135370
  • 用户 68524
  • 热门
  • 回答
  • Marko Smith

    新安装后 postgres 的默认超级用户用户名/密码是什么?

    • 5 个回答
  • Marko Smith

    SFTP 使用什么端口?

    • 6 个回答
  • Marko Smith

    命令行列出 Windows Active Directory 组中的用户?

    • 9 个回答
  • Marko Smith

    什么是 Pem 文件,它与其他 OpenSSL 生成的密钥文件格式有何不同?

    • 3 个回答
  • Marko Smith

    如何确定bash变量是否为空?

    • 15 个回答
  • Martin Hope
    Tom Feiner 如何按大小对 du -h 输出进行排序 2009-02-26 05:42:42 +0800 CST
  • Martin Hope
    Noah Goodrich 什么是 Pem 文件,它与其他 OpenSSL 生成的密钥文件格式有何不同? 2009-05-19 18:24:42 +0800 CST
  • Martin Hope
    Brent 如何确定bash变量是否为空? 2009-05-13 09:54:48 +0800 CST
  • Martin Hope
    cletus 您如何找到在 Windows 中打开文件的进程? 2009-05-01 16:47:16 +0800 CST

热门标签

linux nginx windows networking ubuntu domain-name-system amazon-web-services active-directory apache-2.4 ssh

Explore

  • 主页
  • 问题
    • 最新
    • 热门
  • 标签
  • 帮助

Footer

AskOverflow.Dev

关于我们

  • 关于我们
  • 联系我们

Legal Stuff

  • Privacy Policy

Language

  • Pt
  • Server
  • Unix

© 2023 AskOverflow.DEV All Rights Reserve