关于【glusterfs】的问题- 第1页

Spack

Asked: 2021-02-02 03:05:56 +0800 CST

我可以直接更改位于 GlusterFS 砖中的文件吗

2

在存储节点上，GlusterFS 块（组成 GlusterFS 卷的物理磁盘）通常安装在特定位置。例如：/export/glusterfs/<volume>/brick0/brick。

但是，要使用 GlusterFS 卷，必须安装它：

mount -t glusterfs gluster.example.com:/<volume> /mnt

现在我可以更改所有文件/mnt，GlusterFS 会发挥它的魔力。但是，我们也可以在/export/glusterfs/<volume>/brick0/brick.

可以在/export/glusterfs/<volume>/brick0/brick不破坏 GlusterFS 的情况下更改文件吗？

QkiZ

Asked: 2021-01-24 09:32:23 +0800 CST

Heketi - 使用现有数据添加设备

1

我有一个 OKD 集群，其中 GlusterFS 作为存储类，Heketi 作为前端。一切正常，直到破坏 Heketi 数据库。现在我无法对存储进行任何更改，也无法添加新的持久卷。GlusterFS 仍然可以很好地为 Pod 提供现有的持久卷。

我尝试使用加载拓扑文件重新创建 Heketi 数据库，但我认为 Heketi 正在尝试在已经包含具有工作 GlusterFS 的 LVM 的设备上的 LVM 上创建物理卷。当我尝试加载拓扑时，我在 Heketi 日志中看到以下行：

[kubeexec] DEBUG 2021/01/23 17:04:39 heketi/pkg/remoteexec/log/commandlog.go:34:log.(*CommandLogger).Before: Will run command [/usr/sbin/lvm pvcreate -qq --metadatasize=128M --dataalignment=256K '/dev/sdb'] on [pod:glusterfs-storage-vdm96 c:glusterfs ns:glusterfs (from host:okd-admdev-compute1 selector:glusterfs-node)]

Heketi 客户端挂起将设备添加到集群，然后超时。

[root@heketi-storage-12-wn652 tmp]# heketi-cli topology load --json=topo.json 
Creating cluster ... ID: 6a65d3bce35760e5075db0cae6ed8e7e
    Allowing file volumes on cluster.
    Allowing block volumes on cluster.
    Creating node okd-admdev-compute1 ... ID: 7da6b2b1e4f9a723cfd769618ef36a51
        Adding device /dev/sdb ... Unable to add device: Initializing device /dev/sdb failed (failed to check device contents): timeout
    Creating node okd-admdev-compute2 ... ID: e63f5366838492219a8f929ee4cc67a7
        Adding device /dev/sdb ...

如何在不重新初始化设备的情况下重新创建 Heketi 数据库并使用现有数据重用设备？

P. P.

Asked: 2020-06-20 05:33:02 +0800 CST

Web 服务器上的 Glusterfs

3

我想构建一个 HA Web 服务，我计划在三个节点上使用 Glusterfs（副本 3）。

我的计划是直接在 Gluster 节点上安装 Web 服务器。

这是一个可行的解决方案，还是有充分的理由使用专用的 Gluster 节点？

谢谢你。

P。

hcker2000

Asked: 2020-01-28 11:02:50 +0800 CST

CTDB Samba 脚本无法启动

0

这是 tail -f /var/log/ctdb/log.ctdb 的输出

2020/01/27 18:52:52.317670 ctdbd[3330]: Running the "startup" event.
2020/01/27 18:53:22.323208 ctdbd[3330]: startup event failed
2020/01/27 18:53:22.439563 ctdb-eventd[3332]: event_debug: ===== Start of hung script debug for PID="3678", event="startup" =====
2020/01/27 18:53:22.439703 ctdb-eventd[3332]: event_debug: pstree -p -a 3678:
2020/01/27 18:53:22.439764 ctdb-eventd[3332]: event_debug: 50.samba.script,3678 /etc/ctdb/events/legacy/50.samba.script startup
2020/01/27 18:53:22.439822 ctdb-eventd[3332]: event_debug:   `-service,3758 /sbin/service nmbd start
2020/01/27 18:53:22.439877 ctdb-eventd[3332]: event_debug:       `-service,3762 /sbin/service nmbd start
2020/01/27 18:53:22.439953 ctdb-eventd[3332]: event_debug:           |-sed,3764 -ne s/\.socket\s*[a-z]*\s*$/.socket/p
2020/01/27 18:53:22.440012 ctdb-eventd[3332]: event_debug:           `-systemctl,3763 list-unit-files --full --type=socket
2020/01/27 18:53:22.440068 ctdb-eventd[3332]: event_debug: ---- ctdb scriptstatus startup: ----
2020/01/27 18:53:22.440133 ctdb-eventd[3332]: event_debug: 00.ctdb              OK         0.017 Mon Jan 27 18:52:52 2020
2020/01/27 18:53:22.440203 ctdb-eventd[3332]: event_debug: 01.reclock           OK         0.010 Mon Jan 27 18:52:52 2020
2020/01/27 18:53:22.440259 ctdb-eventd[3332]: event_debug: 05.system            OK         0.010 Mon Jan 27 18:52:52 2020
2020/01/27 18:53:22.440314 ctdb-eventd[3332]: event_debug: 10.interface         OK         0.064 Mon Jan 27 18:52:52 2020
2020/01/27 18:53:22.440382 ctdb-eventd[3332]: event_debug: 50.samba             TIMEDOUT   Mon Jan 27 18:52:52 2020
2020/01/27 18:53:22.440438 ctdb-eventd[3332]: event_debug:   OUTPUT:
2020/01/27 18:53:22.440492 ctdb-eventd[3332]: event_debug: event daemon helper failed with error 46
2020/01/27 18:53:22.440558 ctdb-eventd[3332]: event_debug: ===== End of hung script debug for PID="3678", event="startup" =====

奇怪的是上周在我的两个节点上发生了这种情况，但是当我再次启动它们时，第一个节点工作，第二个节点给了我这个错误。

我正在启用脚本

ctdb event script enable legacy 50.samba

这是我的 smb.conf

[global]
        workgroup = WORKGROUP2
        clustering = yes
        netbios name = gluster
        idmap backend = tdb2

[share]
        path = /mnt/gfs/share
        valid users = fsuser
        readonly = no
        browsable = yes

我正在使用最新的 ctdb 和 samba 运行 ubuntu 服务器 19.10。共享文件系统是 glusterfs，该部分正常工作并通过了 ping_pong 测试。

我也使用 journalctl -b 看到这条消息

Dec 03 16:28:18 gfs1 systemd[1]: /lib/systemd/system/dbus.socket:4: ListenStream= references a path below legacy directory /var/run/, updating /var/run/dbus/system_bus_socket → /run/dbus/system_bus_socket; please update the unit file acc
Dec 03 16:28:18 gfs1 systemd[1]: /lib/systemd/system/smbd.service:9: PIDFile= references a path below legacy directory /var/run/, updating /var/run/samba/smbd.pid → /run/samba/smbd.pid; please update the unit file accordingly.
Dec 03 16:28:18 gfs1 systemd[1]: /lib/systemd/system/nmbd.service:9: PIDFile= references a path below legacy directory /var/run/, updating /var/run/samba/nmbd.pid → /run/samba/nmbd.pid; please update the unit file accordingly.
Dec 03 16:28:18 gfs1 systemd[1]: Set up automount Arbitrary Executable File Formats File System Automount Point.

kartik_subbarao

Asked: 2019-02-21 18:47:18 +0800 CST

glusterfsd Ubuntu 18.04 高 iowait 问题

0

我们在两个运行 Ubuntu 的管理程序上运行 gluster。当我们从 Ubuntu 14.04 升级到 18.04 时，它会将 gluster 从 3.4.2 升级到 3.13.2。一旦我们升级，从那时起，我们就看到系统上的 iowait 显着提高，由 top 和 iotop 衡量，而 iotop 表明 glusterfsd 是罪魁祸首。出于某种原因，glusterfsd 正在执行更多的磁盘读取和/或这些读取正在以更高的速率被阻止。来宾虚拟机也看到了更多的 iowait——它们的图像托管在 gluster 卷上。这会导致虚拟机上托管的服务响应不一致。

我正在寻找有关如何解决和/或解决此问题的任何建议。我们还有其他站点仍在运行 14.04，因此我可以比较/对比任何配置参数和性能。

14.04 上的块调度程序设置为截止日期，18.04 设置为 cfq。但是将 18.04 调度程序更改为截止日期并没有任何区别。

我想知道 18.04 上的 glusterfsd 是否没有尽可能多地缓存。我们尝试大幅增加 performance.cache-size 但这并没有什么不同。

我们正在考虑但尚未尝试的另一个选项是通过将包从 Ubuntu 19.04 反向移植到 18.04 来升级到 gluster 5.3。有人认为这可能会有所帮助吗？

是否有任何我们可以设置的特定调试日志记录或我们可以运行的其他命令来更好地解决这个问题？任何想法，建议，想法将不胜感激。

papanito

Asked: 2018-12-31 11:42:58 +0800 CST

GlusterFS：砖的权限

2

在设置 GlusterFS 时，对砖块有什么要求，即 gluster 服务器上的目录

权限
所有权

我知道 gluster完全符合 POSIX 标准，但我想知道如何配置每个服务器上的砖块，以便 gluster 客户端可以使用 gluster 卷。目前我的砖配置如下：

# ls -l /data/gluster/
total 0
drwxr-xr-x 7 root root 86 Dec 30 19:54 brick1

papanito

Asked: 2018-12-16 06:59:04 +0800 CST

无法在 glusterfs 客户端上挂载 gluster fs：传输端点未连接

2

更新：升级到最新版本 5.2，从而更新日志。但是，问题保持不变更新 2：也将客户端更新到 5.2，仍然是相同的问题。

我有一个具有 3 个节点的 gluster 集群设置。

服务器1，192.168.100.1
服务器2，192.168.100.2
服务器3，192.168.100.3

它们通过内部网络 192.160.100.0/24 连接。但是，我想使用其中一台服务器的公共 ip从网络外部连接客户端，但这不起作用：

sudo mount -t glusterfs x.x.x.x:/datavol /mnt/gluster/

在日志中给出类似的内容：

[2018-12-15 17:57:29.666819] I [fuse-bridge.c:4153:fuse_init] 0-glusterfs-fuse: FUSE inited with protocol versions: glusterfs 7.24 kernel 7.26
[2018-12-15 18:23:47.892343] I [fuse-bridge.c:4259:fuse_init] 0-glusterfs-fuse: FUSE inited with protocol versions: glusterfs 7.24 kernel 7.26
[2018-12-15 18:23:47.892375] I [fuse-bridge.c:4870:fuse_graph_sync] 0-fuse: switched to graph 0
[2018-12-15 18:23:47.892475] I [MSGID: 108006] [afr-common.c:5650:afr_local_init] 0-datavol-replicate-0: no subvolumes up
[2018-12-15 18:23:47.892533] E [fuse-bridge.c:4328:fuse_first_lookup] 0-fuse: first lookup on root failed (Transport endpoint is not connected)
[2018-12-15 18:23:47.892651] W [fuse-resolve.c:127:fuse_resolve_gfid_cbk] 0-fuse: 00000000-0000-0000-0000-000000000001: failed to resolve (Transport endpoint is not connected)
[2018-12-15 18:23:47.892668] W [fuse-bridge.c:3250:fuse_statfs_resume] 0-glusterfs-fuse: 2: STATFS (00000000-0000-0000-0000-000000000001) resolution fail
[2018-12-15 18:23:47.892773] W [fuse-bridge.c:889:fuse_attr_cbk] 0-glusterfs-fuse: 3: LOOKUP() / => -1 (Transport endpoint is not connected)
[2018-12-15 18:23:47.894204] W [fuse-bridge.c:889:fuse_attr_cbk] 0-glusterfs-fuse: 4: LOOKUP() / => -1 (Transport endpoint is not connected)
[2018-12-15 18:23:47.894367] W [fuse-bridge.c:889:fuse_attr_cbk] 0-glusterfs-fuse: 5: LOOKUP() / => -1 (Transport endpoint is not connected)
[2018-12-15 18:23:47.916333] I [fuse-bridge.c:5134:fuse_thread_proc] 0-fuse: initating unmount of /mnt/gluster
The message "I [MSGID: 108006] [afr-common.c:5650:afr_local_init] 0-datavol-replicate-0: no subvolumes up" repeated 4 times between [2018-12-15 18:23:47.892475] and [2018-12-15 18:23:47.894347]
[2018-12-15 18:23:47.916555] W [glusterfsd.c:1481:cleanup_and_exit] (-->/lib/x86_64-linux-gnu/libpthread.so.0(+0x7494) [0x7f90f2306494] -->/usr/sbin/glusterfs(glusterfs_sigwaiter+0xfd) [0x5591a51e87ed] -->/usr/sbin/glusterfs(cleanup_and_exit+0x54) [0x5591a51e8644] ) 0-: received signum (15), shutting down
[2018-12-15 18:23:47.916573] I [fuse-bridge.c:5897:fini] 0-fuse: Unmounting '/mnt/gluster'.
[2018-12-15 18:23:47.916582] I [fuse-bridge.c:5902:fini] 0-fuse: Closing fuse connection to '/mnt/gluster'.

我能看到的是

0-datavol-replicate-0: no subvolumes up

和

0-fuse: 00000000-0000-0000-0000-000000000001: failed to resolve (Transport endpoint is not connected)

防火墙端口（24007-24008、49152-49156）在公共网络接口上打开。

gluster 卷修复数据卷信息

Brick 192.168.100.1:/data/gluster/brick1
Status: Connected
Number of entries: 0

Brick 192.168.100.2:/data/gluster/brick1
Status: Connected
Number of entries: 0

Brick 192.168.100.3:/data/gluster/brick1
Status: Connected
Number of entries: 0

集群信息：

  1: volume datavol-client-0
  2:     type protocol/client
  3:     option ping-timeout 42
  4:     option remote-host 192.168.100.1
  5:     option remote-subvolume /data/gluster/brick1
  6:     option transport-type socket
  7:     option transport.address-family inet
  8:     option send-gids true
  9: end-volume
 10:  
 11: volume datavol-client-1
 12:     type protocol/client
 13:     option ping-timeout 42
 14:     option remote-host 192.168.100.2
 15:     option remote-subvolume /data/gluster/brick1
 16:     option transport-type socket
 17:     option transport.address-family inet
 18:     option send-gids true
 19: end-volume
 20:  
 21: volume datavol-client-2
 22:     type protocol/client
 23:     option ping-timeout 42
 24:     option remote-host 192.168.100.3
 25:     option remote-subvolume /data/gluster/brick1
 26:     option transport-type socket
 27:     option transport.address-family inet
 28:     option send-gids true
 29: end-volume
 30:  
 31: volume datavol-replicate-0
 32:     type cluster/replicate
 33:     subvolumes datavol-client-0 datavol-client-1 datavol-client-2
 34: end-volume
 35:  
 36: volume datavol-dht
 37:     type cluster/distribute
 38:     option lock-migration off
 39:     subvolumes datavol-replicate-0
 40: end-volume
 41:  
 42: volume datavol-write-behind
 43:     type performance/write-behind
 44:     subvolumes datavol-dht
 45: end-volume
 46:  
 47: volume datavol-read-ahead
 48:     type performance/read-ahead
 49:     subvolumes datavol-write-behind
 50: end-volume
 51:  
 52: volume datavol-readdir-ahead
 53:     type performance/readdir-ahead
 54:     subvolumes datavol-read-ahead
 55: end-volume
 56:  
 57: volume datavol-io-cache
 58:     type performance/io-cache
 59:     subvolumes datavol-readdir-ahead
 60: end-volume
 61:  
 62: volume datavol-quick-read
 63:     type performance/quick-read
 64:     subvolumes datavol-io-cache
 65: end-volume
 66:  
 67: volume datavol-open-behind
 68:     type performance/open-behind
 69:     subvolumes datavol-quick-read
 70: end-volume
 71:  
 72: volume datavol-md-cache
 73:     type performance/md-cache
 74:     subvolumes datavol-open-behind
 75: end-volume
 76:  
 77: volume datavol
 78:     type debug/io-stats
 79:     option log-level INFO
 80:     option latency-measurement off
 81:     option count-fop-hits off
 82:     subvolumes datavol-md-cache
 83: end-volume
 84:  
 85: volume meta-autoload
 86:     type meta
 87:     subvolumes datavol
 88: end-volume

gluster 对等状态：

root@server1 /data # gluster peer status 
Number of Peers: 2

Hostname: 192.168.100.2
Uuid: 0cb2383e-906d-4ca6-97ed-291b04b4fd10
State: Peer in Cluster (Connected)

Hostname: 192.168.100.3
Uuid: d2d9e82f-2fb6-4f27-8fd0-08aaa8409fa9
State: Peer in Cluster (Connected)

gluster 卷状态

Status of volume: datavol
Gluster process                             TCP Port  RDMA Port  Online  Pid
------------------------------------------------------------------------------
Brick 192.168.100.1:/data/gluster/brick1    49152     0          Y       13519
Brick 192.168.100.2:/data/gluster/brick1    49152     0          Y       30943
Brick 192.168.100.3:/data/gluster/brick1    49152     0          Y       24616
Self-heal Daemon on localhost               N/A       N/A        Y       3282 
Self-heal Daemon on 192.168.100.2           N/A       N/A        Y       18987
Self-heal Daemon on 192.168.100.3           N/A       N/A        Y       24638

Task Status of Volume datavol

我想念什么？

six2dez

Asked: 2018-08-08 04:18:46 +0800 CST

Glusterfs 砖尺寸

0

我正在尝试部署一个具有 12 个节点的 gluster 集群，每个节点 10 TB，但是当我创建卷时，每个砖块仅创建 50GB，它必须具有我想的整个磁盘空间。这是我的配置：

每个节点中的磁盘配置：

NAME            MAJ:MIN RM   SIZE RO TYPE MOUNTPOINT
sda               8:0    0   9,1T  0 disk 
└─sda1            8:1    0   9,1T  0 part /bricks/brick1

Gluster 卷信息：

Volume Name: vol01
Type: Distributed-Replicate
Volume ID: 70de6c08-e133-406e-99b0-7284be67cf5f
Status: Started
Snapshot Count: 0
Number of Bricks: 6 x 2 = 12
Transport-type: tcp
Bricks:
Brick1: gfs01:/glusterfs/distributed
Brick2: gfs02:/glusterfs/distributed
Brick3: gfs03:/glusterfs/distributed
Brick4: gfs04:/glusterfs/distributed
Brick5: gfs05:/glusterfs/distributed
Brick6: gfs06:/glusterfs/distributed
Brick7: gfs07:/glusterfs/distributed
Brick8: gfs08:/glusterfs/distributed
Brick9: gfs09:/glusterfs/distributed
Brick10: gfs10:/glusterfs/distributed
Brick11: gfs11:/glusterfs/distributed
Brick12: gfs12:/glusterfs/distributed
Options Reconfigured:
transport.address-family: inet
nfs.disable: on
performance.client-io-threads: off

Brick 的音量详细信息（其中只有 2 个，其余配置相同）：

Brick                : Brick gfs01:/glusterfs/distributed
TCP Port             : 49152               
RDMA Port            : 0                   
Online               : Y                   
Pid                  : 12308               
File System          : xfs                 
Device               : /dev/mapper/centos-root
Mount Options        : rw,relatime,attr2,inode64,noquota
Inode Size           : 512                 
Disk Space Free      : 48.4GB              
Total Disk Space     : 50.0GB              
Inode Count          : 26214400            
Free Inodes          : 26152769            

Brick                : Brick gfs02:/glusterfs/distributed
TCP Port             : 49152               
RDMA Port            : 0                   
Online               : Y                   
Pid                  : 11446               
File System          : xfs                 
Device               : /dev/mapper/centos-root
Mount Options        : rw,relatime,attr2,inode64,noquota
Inode Size           : 512                 
Disk Space Free      : 48.4GB              
Total Disk Space     : 50.0GB              
Inode Count          : 26214400            
Free Inodes          : 26152770

客户端挂载点（50*12=300GB）：

gfs01:/vol01                              300G    13G  288G   5% /mnt/glusterfs

任何想法？我错过了什么吗？

Archimedes Trajano

Asked: 2018-04-21 03:41:54 +0800 CST

单个 gluster 砖可以与多个卷一起使用吗？

1

我知道一个卷可以跨越多个砖块。我想知道在单个砖块与多个卷一起使用的情况下是否相反。

或者我们应该只使用 subdir 选项。

Archimedes Trajano

Asked: 2018-03-26 03:51:51 +0800 CST

GlusterFS 需要 XFS 还是可以与其他文件系统一起使用？

2

我正在尝试安装 GlusterFS，我看到所有说明都使用了 XFS 挂载点的创建，这是 GlusterFS 需要 XFS 的限制吗？它可以与 vfat 或 ntfs 挂载一起使用吗？

我可以直接更改位于 GlusterFS 砖中的文件吗

Heketi - 使用现有数据添加设备

Web 服务器上的 Glusterfs

CTDB Samba 脚本无法启动

glusterfsd Ubuntu 18.04 高 iowait 问题

GlusterFS：砖的权限

无法在 glusterfs 客户端上挂载 gluster fs：传输端点未连接

Glusterfs 砖尺寸

单个 gluster 砖可以与多个卷一起使用吗？

GlusterFS 需要 XFS 还是可以与其他文件系统一起使用？

新安装后 postgres 的默认超级用户用户名/密码是什么？

SFTP 使用什么端口？

命令行列出 Windows Active Directory 组中的用户？

什么是 Pem 文件，它与其他 OpenSSL 生成的密钥文件格式有何不同？

如何确定bash变量是否为空？

问题[glusterfs](server)