问题[storage](server)

我已经部署了一个有四个节点的 ceph 集群，有 4 个 mon，但我只想要 3 个，如果我删除第 4 个 mon，它会在重启后自动恢复。

我该如何删除它，让它不再出现，我正在使用 cephadm 来部署 ceph

这是ceph mon dump输出

epoch 14
fsid 383f1e64-f5a6-11ef-93f3-112a7d71c1d4
last_changed 2025-02-28T11:18:59.890169+0000
created 2025-02-28T07:34:26.733991+0000
min_mon_release 17 (quincy)
election_strategy: 1
0: [v2:10.10.20.4:3300/0,v1:10.10.20.4:6789/0] mon.ceph1
1: [v2:10.10.20.6:3300/0,v1:10.10.20.6:6789/0] mon.ceph2
2: [v2:10.10.20.5:3300/0,v1:10.10.20.5:6789/0] mon.ceph3
3: [v2:10.10.20.7:3300/0,v1:10.10.20.7:6789/0] mon.ceph4
dumped monmap epoch 14

我们目前有 4 个 FC 阵列，每个阵列包含 16 个 300GB 驱动器，位于 Sun StorageTek 6140 机箱中，连接到运行 OpenIndiana 的旧 Sun X4170 M2 服务器。过去 10 多年来，这一直运行良好。我们正考虑升级。我们没有太多的钱可以花，但考虑到当前的环境，我们不需要花太多钱就能做得更好。SAN 为 AIX/HP-UX iSCSI 客户端和 Linux VM 的 NFS 提供服务。我提出了以下新配置：

Dell R640/MD1420 布线图

Sun 服务器将被运行 OmniOS 并配备 SAS/NVMe 背板的 Dell R640 10 托架服务器取代。ZFS 根池将由两个镜像的 Dell 400-AJRR 300GB 驱动器和两个备用驱动器组成。ZIL 将是两个 Intel Optane DC P4800X 375GB U.2 驱动器。我还没有想出要将哪些驱动器用于 ZFS 缓存设备。该服务器有 3 个低调 PCIe 插槽。两个将包含 Dell HBA355e 适配器，用于连接两个 Dell MD1420 存储阵列，每个阵列有 24 个 Dell 400-ATIN 600GB 驱动器。将使用 Mini-SAS SFF-8644 电缆将 Dell HBA 连接到 MD1420。MD1420 很旧，但我们不需要任何花哨的东西。

根据上述布线配置，并假设服务器上有 MPIO，我是否应该能够实现以下目标（我相信答案是肯定的，但想确认）：

1. 如果任何 MD1420 中的一个 EMM 控制器发生故障，阵列将继续运行
2. 如果一条 SFF 电缆发生故障，阵列将继续运行
3. 如果其中一个 HBA355e 控制器发生故障，阵列将继续运行
4. 电源、EMM 控制器和 SFF 电缆在阵列上均可热插拔

与菊花链连接两个阵列相比，将第二个阵列像第一个阵列一样直接连接到 HBA355e 有什么好处吗？

那么，阵列和驱动器是如何管理的？OME？这是否允许对 R640 和 MD1420 中的 MD1420 和戴尔驱动器进行固件更新？

我的 Proxmox 实例中有一个 ZFS 镜像池。我试图让它以只读方式安装到 LXC 容器（最好不提供完整的文件系统访问权限），这样我就可以让Homepage正确检测已用空间和可用空间以进行监控。

其他服务器故障问题和答案已报告df -hT应该能够正确报告 zfs 文件系统的已用空间（减去奇偶校验数据，可能是压缩或重复数据删除数据，但我在这里并不寻求 100% 的准确性）

但对我来说，df -hT将总空间报告为可用空间，将已用空间报告为 128K。

root@pve:~# df -hT /nvme
Filesystem     Type  Size  Used Avail Use% Mounted on
nvme           zfs   590G  128K  590G   1% /nvme

/nvme 是顶级 zfs 数据集，不是吗？为什么这些数据集的空间计算方式似乎很奇怪？

root@pve:~# zfs list
NAME                     USED  AVAIL  REFER  MOUNTPOINT
nvme                     309G   590G   128K  /nvme
nvme/base-103-disk-0    43.4G   631G  2.19G  -
nvme/nvmecheck            96K   590G    96K  /mnt/nvmecheck
nvme/subvol-102-disk-0   554M  1.46G   554M  /nvme/subvol-102-disk-0
nvme/subvol-105-disk-0  1.71G  2.29G  1.71G  /nvme/subvol-105-disk-0
nvme/subvol-106-disk-0   625M  1.39G   625M  /nvme/subvol-106-disk-0
nvme/subvol-107-disk-0  3.37G  11.6G  3.37G  /nvme/subvol-107-disk-0
nvme/subvol-108-disk-0  1.18G  1.82G  1.18G  /nvme/subvol-108-disk-0
nvme/subvol-109-disk-0   533M  1.48G   533M  /nvme/subvol-109-disk-0
nvme/vm-100-disk-0      43.3G   624G  8.96G  -
nvme/vm-101-disk-0       132G   607G   115G  -
nvme/vm-104-disk-0      82.5G   661G  11.6G  -

仅供参考，nvme/nvmecheck是我制作的数据集，用于了解如何计算子数据集。它的参考就更奇怪了。

谁能告诉我发生了什么事吗？也许这是 Debian 的 zfs 实现？或者有什么问题吗df？

zpool 状态警告我，我的 zpool 缺少可以运行 zpool 升级的功能，但我不确定这是否安全。我的 Proxmox 使用的是新的启动工具，而不是旧版的，所以这不应该是一个问题。

zfs 的USEDDS属性可能相关，但不确定：

root@pve:~# zfs list -o space nvme
NAME  AVAIL   USED  USEDSNAP  USEDDS  USEDREFRESERV  USEDCHILD
nvme   590G   309G        0B    128K             0B       309G

如下所示，ZFS 有一些属性128K也可能源自这些属性。

root@pve:~# zfs get all nvme
NAME  PROPERTY              VALUE                  SOURCE
nvme  type                  filesystem             -
nvme  creation              Sat Jul 22 20:53 2023  -
nvme  used                  309G                   -
nvme  available             590G                   -
nvme  referenced            128K                   -
nvme  compressratio         1.13x                  -
nvme  mounted               yes                    -
nvme  quota                 none                   default
nvme  reservation           none                   default
nvme  recordsize            128K                   default
nvme  mountpoint            /nvme                  default
nvme  sharenfs              off                    default
nvme  checksum              on                     default
nvme  compression           on                     local
nvme  atime                 off                    local
nvme  devices               on                     default
nvme  exec                  on                     default
nvme  setuid                on                     default
nvme  readonly              off                    default
nvme  zoned                 off                    default
nvme  snapdir               hidden                 default
nvme  aclmode               discard                default
nvme  aclinherit            restricted             default
nvme  createtxg             1                      -
nvme  canmount              on                     default
nvme  xattr                 on                     default
nvme  copies                1                      default
nvme  version               5                      -
nvme  utf8only              off                    -
nvme  normalization         none                   -
nvme  casesensitivity       sensitive              -
nvme  vscan                 off                    default
nvme  nbmand                off                    default
nvme  sharesmb              off                    default
nvme  refquota              none                   default
nvme  refreservation        none                   default
nvme  guid                  [redacted]             -
nvme  primarycache          all                    local
nvme  secondarycache        all                    default
nvme  usedbysnapshots       0B                     -
nvme  usedbydataset         128K                   -
nvme  usedbychildren        309G                   -
nvme  usedbyrefreservation  0B                     -
nvme  logbias               latency                default
nvme  objsetid              54                     -
nvme  dedup                 off                    default
nvme  mlslabel              none                   default
nvme  sync                  standard               default
nvme  dnodesize             legacy                 default
nvme  refcompressratio      1.00x                  -
nvme  written               128K                   -
nvme  logicalused           164G                   -
nvme  logicalreferenced     54.5K                  -
nvme  volmode               default                default
nvme  filesystem_limit      none                   default
nvme  snapshot_limit        none                   default
nvme  filesystem_count      none                   default
nvme  snapshot_count        none                   default
nvme  snapdev               hidden                 default
nvme  acltype               off                    default
nvme  context               none                   default
nvme  fscontext             none                   default
nvme  defcontext            none                   default
nvme  rootcontext           none                   default
nvme  relatime              on                     default
nvme  redundant_metadata    all                    default
nvme  overlay               on                     default
nvme  encryption            off                    default
nvme  keylocation           none                   default
nvme  keyformat             none                   default
nvme  pbkdf2iters           0                      default
nvme  special_small_blocks  0                      default

我的 zpool 属性：

root@pve:~# zpool get all nvme
NAME  PROPERTY                       VALUE                          SOURCE
nvme  size                           928G                           -
nvme  capacity                       15%                            -
nvme  altroot                        -                              default
nvme  health                         ONLINE                         -
nvme  guid                           [redacted]                     -
nvme  version                        -                              default
nvme  bootfs                         -                              default
nvme  delegation                     on                             default
nvme  autoreplace                    off                            default
nvme  cachefile                      -                              default
nvme  failmode                       wait                           default
nvme  listsnapshots                  off                            default
nvme  autoexpand                     off                            default
nvme  dedupratio                     1.00x                          -
nvme  free                           782G                           -
nvme  allocated                      146G                           -
nvme  readonly                       off                            -
nvme  ashift                         12                             local
nvme  comment                        -                              default
nvme  expandsize                     -                              -
nvme  freeing                        0                              -
nvme  fragmentation                  12%                            -
nvme  leaked                         0                              -
nvme  multihost                      off                            default
nvme  checkpoint                     -                              -
nvme  load_guid                      [redacted]                     -
nvme  autotrim                       off                            default
nvme  compatibility                  off                            default
nvme  bcloneused                     0                              -
nvme  bclonesaved                    0                              -
nvme  bcloneratio                    1.00x                          -
nvme  feature@async_destroy          enabled                        local
nvme  feature@empty_bpobj            active                         local
nvme  feature@lz4_compress           active                         local
nvme  feature@multi_vdev_crash_dump  enabled                        local
nvme  feature@spacemap_histogram     active                         local
nvme  feature@enabled_txg            active                         local
nvme  feature@hole_birth             active                         local
nvme  feature@extensible_dataset     active                         local
nvme  feature@embedded_data          active                         local
nvme  feature@bookmarks              enabled                        local
nvme  feature@filesystem_limits      enabled                        local
nvme  feature@large_blocks           enabled                        local
nvme  feature@large_dnode            enabled                        local
nvme  feature@sha512                 enabled                        local
nvme  feature@skein                  enabled                        local
nvme  feature@edonr                  enabled                        local
nvme  feature@userobj_accounting     active                         local
nvme  feature@encryption             enabled                        local
nvme  feature@project_quota          active                         local
nvme  feature@device_removal         enabled                        local
nvme  feature@obsolete_counts        enabled                        local
nvme  feature@zpool_checkpoint       enabled                        local
nvme  feature@spacemap_v2            active                         local
nvme  feature@allocation_classes     enabled                        local
nvme  feature@resilver_defer         enabled                        local
nvme  feature@bookmark_v2            enabled                        local
nvme  feature@redaction_bookmarks    enabled                        local
nvme  feature@redacted_datasets      enabled                        local
nvme  feature@bookmark_written       enabled                        local
nvme  feature@log_spacemap           active                         local
nvme  feature@livelist               enabled                        local
nvme  feature@device_rebuild         enabled                        local
nvme  feature@zstd_compress          enabled                        local
nvme  feature@draid                  enabled                        local
nvme  feature@zilsaxattr             disabled                       local
nvme  feature@head_errlog            disabled                       local
nvme  feature@blake3                 disabled                       local
nvme  feature@block_cloning          disabled                       local
nvme  feature@vdev_zaps_v2           disabled                       local

我们有一个 Windows Storage Server 2016，其中一些卷启用了存储重复数据删除。

它的操作系统崩溃了，所以我们不得不重新安装操作系统（无法从备份中恢复）。

有些文件在重新安装之前似乎已删除重复数据。当我们打开此类卷中的文件夹时，我们能够浏览文件夹的内容（文件正确显示）。但是我们无法读取文件的内容（无法复制或打开文件）。

问题：我们如何恢复这些文件？

我正在考虑为我的英特尔 NUC 迷你服务器（我在上面安装了 linux）购买一个 8TB SSD 存储芯片。但是，我想知道在添加那么大的存储空间时是否需要考虑任何因素。

NUC 会很难用那么大的存储空间进行读/写吗？假设我有一个 100 TB 的 SSD 芯片，这会影响性能吗？

我想在一个节点（即）上使用一个挂载点，并为我将在集群中使用/data的每个子文件夹设置一个不同的子文件夹。PersistentVolumeClaim

目前我有多个StorageClass和PersistentVolume每个子文件夹，例如：

---
kind: StorageClass
apiVersion: storage.k8s.io/v1
metadata:
  name: prometheus
provisioner: kubernetes.io/no-provisioner
volumeBindingMode: WaitForFirstConsumer
---
apiVersion: v1
kind: PersistentVolume
metadata:
  name: prometheus
  labels:
    type: local
spec:
  storageClassName: prometheus
  capacity:
    storage: 100Gi
  accessModes:
    - ReadWriteOnce
  local:
    path: "/data/prometheus"
  nodeAffinity:
    required:
      nodeSelectorTerms:
        - matchExpressions:
            - key: disk
              operator: In
              values:
                - local

正如你所想象的那样，每个都有一个StorageClass，一个看起来有点矫枉过正。PersistentVolumePersistentVolumeClaim

我尝试使用单个StorageClass和PersistentVolume（仅指向 /data），usePath选项（即prometheus）与多个PersistentVolumeClaim. 但是我注意到，如果securityContext.fsGroupChangePolicy启用该选项，它将将用户/组更改应用于卷的根目录（即/data）而不是subPath（即/data/prometheus）。

有更好的解决方案吗？

谢谢

我有少量的邮件用户（大约 100 个），有些人有相对较大的（10Gb+）邮箱。我正在使用 postfix 和 dovecot Maildir 格式运行 Ubuntu。

我可以继续添加存储，但也许更便宜的方法是提取比阈值更旧和更大的附件，然后在自动删除之前将它们放在供用户下载的地方（例如 S3）？不知道如何做到这一点。

别人做什么？

我也想过压缩超过一定年龄的邮件，但我不确定这是否会释放很多空间。

我的网站目前有多个windows服务器，它们都是本地的，都在内网中，并且每个服务器在同一个文件夹中都有相同的源代码。目前，我的工作流程是每次我想要实现一个新功能时，我都必须复制并粘贴到每个服务器。因为我有大约 10 台服务器，所以现在变得很乏味，而且我的同事和我也有过缺少服务器的情况。

我们一直在寻找单独的集中式集群存储（如 Gluster）来存储源代码，我们只需上传到一个点，它就会传播，我们只需通过 Microsoft IIS 中的共享文件夹链接它。

我的问题是：

1. 这样做有什么好处吗？还是只会让网站变慢？

2. 如果它使网站变慢，有没有更好的方法呢？

谢谢，感谢您花时间阅读或回复我的帖子。

我们有一个 AWS EC2 实例，它安装了一个大约 70GB 的 EBS gp3 SSD。有时，我们会执行一些 scp 命令来将新文件复制到此 EBS，但在其余时间，实例只会在 EBS 中执行读取操作。

此实例从 Internet 获取请求，并且对于每个请求，它必须读取 2000 个文件（约 60kb 的 1000 个和约 414b 的 1000 个）。现在我们想将此实例包含在自动缩放组中。我们应该如何处理这个 EBS？据我所读，我可以：

1. 使用新的 EBS 创建新实例，每次创建时都会复制原始 EBS -> 它会复制 GB 并执行 IOPS，这最终意味着要花费 $ + 时间来复制 EBS。
2. 使用多附加 EBS -> 更高的存储成本（它是预置 GB，不是通用的）
3. 使用 EFS。较低的速度和较高的延迟。价格高于 EBS，但创建多个时会更便宜。
4. 在具有 min:1 max:1 的自动缩放组的微型实例上使用 NFS 以避免失败，并在每次创建 EBS 时附加它。
5. 使用 GlusterFS。我认为它在 AWS 上相当昂贵。是吗？

我认为从长远来看，我们共享的内存永远不会超过 100GB。您认为在这种情况下最好的方法是什么？我在 5) 中考虑，但由于成本，我在 4) 中考虑。

我在 btrfs raid1 阵列中有一对 3TB 磁盘。

其中一个磁盘开始出现故障（smartd 显示坏扇区），因此我购买了一对新的 8TB 驱动器来替换阵列中的两个磁盘。

我将两者都替换为btrfs replace，然后运行了btrfs balance- 失败并显示以下消息：

[ 5063.136378] BTRFS error (device sdc): parent transid verify failed on 5153170751488 wanted 1433374 found 1417912
[ 5063.140428] BTRFS error (device sdc): parent transid verify failed on 5153170751488 wanted 1433374 found 1417912

现在，我在更换磁盘之前就已经看到了这些消息，但是现在由于两个磁盘都已更换，我相信它与btrfs.

我的数据已完全备份，文件系统在线且工作正常，但由于此错误，我无法进行平衡。运行清理会产生少量无法纠正的错误，就像我更换磁盘之前一样。

我想知道我怎么能，也许：

1. 找出损坏的文件并从备份中恢复它们
2. 重置文件系统上的事务以消除错误
3. 平衡时忽略错误

...或任何其他合理的解决方案。

谢谢！