nagylzs's questions

我有三台服务器，通过 wireguard 完全连接。它们运行 Ubuntu Server 22.04 和带有流复制的 postgresql repmr 集群。

所有计算机都有一个公共地址，但 PostgreSQL 实例和数据库客户端正在使用内部地址（在 wireguard VPN 上）。

在其中一台计算机上，我在日志中看到了以下内容：

2024-07-26 07:23:14.463 UTC [147915] FATAL:  could not receive data from WAL stream: server closed the connection unexpectedly
2024-07-26 07:25:56.242 UTC [148509] FATAL:  could not receive data from WAL stream: server closed the connection unexpectedly
2024-07-26 07:28:17.567 UTC [148818] FATAL:  could not receive data from WAL stream: server closed the connection unexpectedly
2024-07-26 07:33:13.234 UTC [149090] FATAL:  could not receive data from WAL stream: server closed the connection unexpectedly
2024-07-26 07:48:42.721 UTC [149723] FATAL:  terminating walreceiver due to timeout
2024-07-26 07:52:17.298 UTC [151521] FATAL:  could not receive data from WAL stream: server closed the connection unexpectedly
2024-07-26 08:01:25.141 UTC [151889] FATAL:  could not receive data from WAL stream: server closed the connection unexpectedly
2024-07-26 08:02:16.337 UTC [152868] FATAL:  could not receive data from WAL stream: server closed the connection unexpectedly
2024-07-26 08:06:13.169 UTC [152951] FATAL:  could not receive data from WAL stream: server closed the connection unexpectedly
2024-07-26 08:22:04.180 UTC [153377] FATAL:  could not receive data from WAL stream: server closed the connection unexpectedly

此外，当我尝试从 go 或 python 程序连接到主数据库时，有时我会看到“连接超时”或“对等方重置连接”、“操作过程中连接已关闭”等类似消息。需要注意的是，这些消息只会发生在一台计算机上，而不会发生在其他计算机上。

在服务器端（主 postgresql），我在日志中看到以下内容：

2024-07-26 12:31:36.667 UTC [3778655] telegraf@telegraf LOG:  could not receive data from client: Connection reset by peer
2024-07-26 12:31:36.897 UTC [3777638] telegraf@telegraf LOG:  could not receive data from client: Connection reset by peer
2024-07-26 12:31:39.462 UTC [3775606] telegraf@telegraf LOG:  could not receive data from client: Connection reset by peer
2024-07-26 12:31:39.480 UTC [3780628] telegraf@telegraf LOG:  could not receive data from client: Connection reset by peer

这些错误每小时只发生几次。这足以让我的应用程序变得不可靠，但它们是间歇性的。我在公共地址之间运行了此 ping 测试：

ping -c 3600 primary.public.com
# waited an hour...
--- primary.public.com ping statistics ---
3600 packets transmitted, 3600 received, 0% packet loss, time 3603052ms
rtt min/avg/max/mdev = 72.849/73.214/101.325/0.881 ms

我还对私有 IP 地址进行了 ping 测试：

ping -c 1008 primary.private.com
# waited...
--- primary.private.com ping statistics ---
1008 packets transmitted, 783 received, 22.3214% packet loss, time 1013304ms
rtt min/avg/max/mdev = 80.742/91.383/256.720/16.133 ms

换句话说，22% 的 ping 数据包在 wireguard 上丢失。

所有 wireguard 设备的 MTU 值都是默认的 1420。

3: dev0: <POINTOPOINT,NOARP,UP,LOWER_UP> mtu 1420 qdisc noqueue state UNKNOWN group default qlen 1000
    link/none 
    inet 10.241.64.3/32 scope global dev0
       valid_lft forever preferred_lft forever

还尝试使用此脚本测试 MTU：

size=1272
while ping -s $size -c1 -M do primary.internaladdress.com >&/dev/null; do 
  ((size+=4))
done
echo "Max MTU size: $((size-4+28))

而且它还打印了1420。

请注意，问题只存在于三台计算机中的两台之间。例如，A 和 B 之间是坏的，但 BC 之间是好的。

必须注意的是，有问题的计算机距离很远（在不同的大陆）。但这不应该导致这种情况。

据我了解，wireguard 将 IP 数据包封装成加密的 UDP 数据包，TCP 协议负责重新发送丢失的数据包。

非常奇怪的是，公有地址之间的 IP 数据包的丢弃率为 0%，而 wireguard/UDP 数据包的丢弃率却超过 20%。UDP 数据包是否可能被某些路由器或交换机丢弃？也许 QoS 正在发生？

这些服务器是租用的，彼此相距很远。显然，我无法采取任何措施来消除数据包丢失。我知道 UDP 总是不可靠的。但我想知道我是否可以以某种方式修复 TCP 连接。即使它们有时会变慢（即使它们一两秒钟无法通信），它们也不应该重置连接。我有什么选择？

使用 Ubuntu 20.04 LTS，我在 /etc/fail2ban/jail.local 中有这个：

[DEFAULT]
bantime   = 3600
banaction = iptables
blocktype = drop


[sshd]
enabled   = true
protocol  = tcp
port      = ssh
filter    = sshd
logpath   = /var/log/auth.log
maxretry  = 3

但这是我在列出 iptables 规则时看到的：

╰─# iptables -L f2b-sshd -n -v
Chain f2b-sshd (1 references)
 pkts bytes target     prot opt in     out     source               destination
   13  1356 REJECT     all  --  *      *       222.187.232.205      0.0.0.0/0            reject-with icmp-port-unreachable
   18  1516 REJECT     all  --  *      *       221.181.185.153      0.0.0.0/0            reject-with icmp-port-unreachable
   17  1064 REJECT     all  --  *      *       222.186.180.130      0.0.0.0/0                  777 55854 RETURN     all  --  *      *       0.0.0.0/0            0.0.0.0/0

问题是它使用 REJECT（使用 ICMP）而不是 DROP。

action.d/iptables.conf 包含以下内容：

# Option:  actionban
# Notes.:  command executed when banning an IP. Take care that the
#          command is executed with Fail2Ban user rights.
# Tags:    See jail.conf(5) man page
# Values:  CMD
#
actionban = <iptables> -I f2b-<name> 1 -s <ip> -j <blocktype>

它是默认的 iptables 操作文件，随该操作系统版本的官方 fail2ban apt 软件包一起提供。

还尝试在 [sshd] 下添加“blocktype=drop”，但没有效果。

我不确定如何调试它，因为 fail2ban 服务不会记录实际的 iptables 命令。

我错过了什么？

我有一个包含这些层的磁盘：sata 磁盘、luks、zpool、ext4

ext4 fs 是使用以下命令创建的：

cryptsetup -v luksFormat /dev/sdb
cryptsetup luksOpen /dev/sda store02
zpool create zstore02 /dev/mapper/store02
zfs create -V 1600G zstore02/dsk02
mkfs.ext4 -L dsk02 /dev/zstore02/dsk02

系统是 Ubuntu 20.04.1 LTS。该池后来被导入另一个 20.04.1 系统。

我想创建一个读/写快照并挂载它。但它告诉我“空间不足”：

root@computer:~# zpool list
NAME       SIZE  ALLOC   FREE  CKPOINT  EXPANDSZ   FRAG    CAP  DEDUP    HEALTH  ALTROOT
zstore02  1,81T  1,50T   320G        -         -     7%    82%  1.00x    ONLINE  -
root@computer:~# zfs list
NAME             USED  AVAIL     REFER  MOUNTPOINT
zstore02        1,61T   148G       24K  /zstore02
zstore02/dsk02  1,61T   262G     1,50T  -
root@computer:~# zfs snapshot zstore02/dsk02@test
cannot create snapshot 'zstore02/dsk02@test': out of space
root@computer:~# zfs get reservation zstore02/dsk02
NAME            PROPERTY     VALUE   SOURCE
zstore02/dsk02  reservation  none    local
root@computer:~# zfs set reservation=10G zstore02
root@computer:~# zfs set reservation=10G zstore02/dsk02
root@computer:~# zfs snapshot zstore02/dsk02@test
cannot create snapshot 'zstore02/dsk02@test': out of space
root@computer:~#

它不适用于 reserved=none 或 reserved=10G。

显然，“zpool list”报告了 300G 可用空间，“zfs list”报告了 262G 可用空间。但不知何故，我无法创建快照。为什么？

更新

如果我尝试创建一个新卷，那么它可以工作（抱歉匈牙利语环境）：

root@computer:~# zfs create -V 1G zstore02/test
root@computer:~# mkfs.ext4 -L test /dev/zstore02/test
mke2fs 1.45.5 (07-Jan-2020)
Eszközblokkok eldobása: kész
Fájlrendszer létrehozása 262144 4 blokkal és 65536 inode-dal
Fájlrendszer UUID: 14e07b33-5d25-465a-aeb8-7fbfe2499dfd
Tartalék szuperblokkok tárolva a blokkokon:
        32768, 98304, 163840, 229376

Csoporttáblák foglalása: kész
Inode táblák írásakor: kész
Napló létrehozása (8192 blokk): kész
Szuperblokkok és fájlrendszer-könyvelési információk írása: kész

root@computer:~# zfs snapshot zstore02/test@snap1

root@computer:~# zfs list -t snapshot
NAME                  USED  AVAIL     REFER  MOUNTPOINT
zstore02/test@snap1     0B      -     32,7M  -
root@computer:~#

它适用于我创建的任何卷，除了 zstore02/dsk02。

但为什么？

我需要编写在 docker swarm 集群上创建服务的脚本。示例脚本与此类似：

docker service create \
    --name postgres \
    --mode global \
    --constraint "node.labels.postgres==master" \
    --network my-network \
    --env POSTGRES_USER="postgres" \
    --env POSTGRES_PASSWORD="****" \
    postgres:10

POSTGRES_USER 和 POSTGRES_PASSWORD 环境变量应该来自 docker secrets。例如：

echo "example_password" | docker secret create postgres-password -

我知道可以从正在运行的容器内以文件的形式访问该机密。但在上面的示例中，它必须作为环境变量传递给“服务创建”命令。它由容器的入口点使用，因此必须在创建容器之前呈现。那么如何将秘密传递给“docker service create”命令的 --env 开关？

我在两台不同的计算机上有一个 zabbix 服务器和一个代理。代理在活动模式下运行，例如我在配置文件中有这个：

StartAgents=0
ServerActive=my.zabbix.server.com
Hostname=my.zabbix.agent.com

zabbix server 可以从带有代理的机器上访问，例如：

telnet my.zabbix.server.com 10051
Trying 111.111.111.111...
Connected to my.zabbix.server.com.
Escape character is '^]'.
Connection closed by foreign host.

而且服务器开启了主机自动注册，我刚启动的时候代理已经成功注册了主机。所以连接必须是活动的。这是我在启动它时在代理日志中看到的内容：

83074:20171128:082440.324 Starting Zabbix Agent [my.zabbix.agent.com]. Zabbix 3.4.1 (revision 71734).
83074:20171128:082440.324 **** Enabled features ****
83074:20171128:082440.324 IPv6 support:          YES
83074:20171128:082440.324 TLS support:           YES
83074:20171128:082440.324 **************************
83074:20171128:082440.324 using configuration file: /usr/local/etc/zabbix34/zabbix_agentd.conf
83074:20171128:082440.324 agent #0 started [main process]
83076:20171128:082440.325 agent #1 started [collector]
83077:20171128:082440.326 agent #2 started [active checks #1]

换句话说，代理可以连接到服务器，它甚至可以识别它的版本。代理日志中没有其他任何事情发生。

在服务器上，它仍然说主机不可达！

可能是什么问题呢？

更新：在前端，我看到这条消息：

我不确定它为什么要连接到 10050？它用于被动代理。我的代理应该是活跃的。

UPDATE2：如果我从 zabbix 服务器中删除主机，然后重新启动代理，则会发生以下情况：

主机再次在服务器上自动注册。代理日志：

14551:20171128:193954.483 Starting Zabbix Agent [my.zabbix.server.com]. Zabbix 3.4.1 (revision 71734).
14551:20171128:193954.484 **** Enabled features ****
14551:20171128:193954.484 IPv6 support:          YES
14551:20171128:193954.484 TLS support:           YES
14551:20171128:193954.484 **************************
14551:20171128:193954.484 using configuration file: /usr/local/etc/zabbix34/zabbix_agentd.conf
14551:20171128:193954.484 agent #0 started [main process]
14553:20171128:193954.485 agent #1 started [collector]
14554:20171128:193954.485 agent #2 started [active checks #1]
14554:20171128:193954.614 no active checks on server [my.zabbix.server.com:10051]: host [my.zabbix.agent.com] not found

在哪里：

• my.zabbix.server.com 是服务器的 FQDN
• my.zabbix.agent.com 是代理的 FQDN，也是代理配置中的 HostName 参数。

看起来，代理成功注册了主机，但由于某种原因，服务器试图以被动模式从代理获取信息。尽管事实上，代理被配置为活动模式。

更新 3：虽然代理正在发送数据，但主机列表仍然显示一个问题：

可用性/ZBX 有一个危险信号，并显示一条消息“从代理获取值失败：无法连接到 [[ip_address_here]:1050]：[4] 中断系统调用”。我已经检查了这些主机的每一个项目和每一个发现，它们都有 type="Zabbix Agent Active"。所以我不明白为什么服务器试图以被动模式连接它们？？？这不会导致真正的“问题”（例如，生成动作并从 zabbix 服务器发出通知的东西），但在屏幕上看到红旗是非常令人不安的。

在这个问题完全解决之前，我什至不会接受我自己的答案。

更新4：在更改了所有连接到我的主机的所有模板的所有项目类型、发现类型和项目原型的类型，以及所有链接到那里的模板之后，ZBX 危险信号终于消失了. 我相信我是一个经验丰富的软件用户，但很难理解发生了什么，并更改所有参数以使其工作。

我的系统上有这个 rnd.key 文件：

key "rndc-key1" {
    algorithm hmac-md5;
    secret "xxxxxxxxxxxxxxx==";
};
key "rndc-key2" {
        algorithm hmac-md5;
        secret "yyyyyyyyyyy==";
};

然后我将它们用于不同的区域：

zone "somedomain1.com" {
    type master;
    file "/etc/bind/master/db.somedomain1.com";
    allow-update {
    key rndc-key1;
    };
};


zone "somedomain2.com" {
    type master;
    file "/etc/bind/master/db.somedomain2.com";
    allow-update {
    key rndc-key2;
    };
};

当我尝试运行“rndc freeze”时，我收到此错误：

rndc: error: /etc/bind/rndc.key:5: 'key' redefined near 'key'
rndc: could not load rndc configuration

这是什么意思？这里有什么问题？不同区域不能使用不同的键吗？

我编写了一个错误的程序，它意外地在 /tmp 下创建了大约 30M 的文件。（这个错误是几周前引入的，它每秒创建几个子目录。）我可以将 /tmp 重命名为 /tmp2，现在我需要删除这些文件。系统是 FreeBSD 10，根文件系统是 zfs。

与此同时，镜像中的一个驱动器出了问题，我已经更换了它。该驱动器有两个 120GB SSD 磁盘。

问题是：更换硬盘驱动器并重新同步整个阵列只用了不到一个小时。删除文件 /tmp2 是另一回事。我编写了另一个程序来删除文件，它每秒只能删除 30-70 个子目录。删除所有文件需要 2-4 天。

重新同步整个阵列需要一个小时，但从磁盘中删除需要 4 天，这怎么可能？为什么我的表现这么差？70 次删除/秒似乎非常非常糟糕的性能。

我可以手动删除 /tmp2 的 inode，但这不会释放空间，对吧？

这可能是 zfs 或硬盘驱动器的问题吗？

这是一台 FreeBSD 9.1 amd64 计算机。它安装了 5 个磁盘。ada0 和 ada1 磁盘与硬件 raid 一起使用以提供根文件系统：

root@gw:/home/gandalf # ls /dev | grep ada
ada0
ada1
ada2
ada3
ada4
root@gw:/home/gandalf # zpool status
  pool: zroot
 state: ONLINE
  scan: none requested
config:

    NAME          STATE     READ WRITE CKSUM
    zroot         ONLINE       0     0     0
      raid/r0s1a  ONLINE       0     0     0

errors: No known data errors

我想为剩余的磁盘创建一个 raidz 池：

root@gw:/home/gandalf # zpool create -f data raidz1 ada2 ada3 ada4
cannot create 'data': one or more devices is currently unavailable
root@gw:/home/gandalf # dmesg | grep ada2
ada2 at ata4 bus 0 scbus6 target 0 lun 0
ada2: <WDC WD20EARS-00MVWB0 51.0AB51> ATA-8 SATA 2.x device
ada2: 300.000MB/s transfers (SATA 2.x, UDMA5, PIO 8192bytes)
ada2: 1907729MB (3907029168 512 byte sectors: 16H 63S/T 16383C)
ada2: Previously was known as ad16
root@gw:/home/gandalf # dmesg | grep ada3
ada3 at ata5 bus 0 scbus7 target 0 lun 0
ada3: <SAMSUNG HD103UJ 1AA01118> ATA-7 SATA 2.x device
ada3: 300.000MB/s transfers (SATA 2.x, UDMA5, PIO 8192bytes)
ada3: 953868MB (1953523055 512 byte sectors: 16H 63S/T 16383C)
ada3: Previously was known as ad18
GEOM_RAID: Intel-fb8732fa: Disk ada3 state changed from NONE to ACTIVE.
GEOM_RAID: Intel-fb8732fa: Subdisk Volume0:0-ada3 state changed from NONE to ACTIVE.
root@gw:/home/gandalf # dmesg | grep ada4
ada4 at ata6 bus 0 scbus8 target 0 lun 0
ada4: <TOSHIBA DT01ACA100 MS2OA750> ATA-8 SATA 3.x device
ada4: 300.000MB/s transfers (SATA 2.x, UDMA5, PIO 8192bytes)
ada4: 953869MB (1953525168 512 byte sectors: 16H 63S/T 16383C)
ada4: Previously was known as ad20
root@gw:/home/gandalf # dmesg | grep GEOM_RAID

啊哈，所以 ada3 已经是另一个 raid 卷的一部分了？让我们来看看：

root@gw:/home/gandalf # dmesg | grep GEOM_RAID
GEOM_RAID: SiI-130628113902: Array SiI-130628113902 created.
GEOM_RAID: SiI-130628113902: Disk ada0 state changed from NONE to ACTIVE.
GEOM_RAID: SiI-130628113902: Subdisk SiI Raid1 Set:1-ada0 state changed from NONE to STALE.
GEOM_RAID: SiI-130628113902: Disk ada1 state changed from NONE to ACTIVE.
GEOM_RAID: SiI-130628113902: Subdisk SiI Raid1 Set:0-ada1 state changed from NONE to STALE.
GEOM_RAID: SiI-130628113902: Array started.
GEOM_RAID: SiI-130628113902: Subdisk SiI Raid1 Set:0-ada1 state changed from STALE to ACTIVE.
GEOM_RAID: SiI-130628113902: Subdisk SiI Raid1 Set:1-ada0 state changed from STALE to RESYNC.
GEOM_RAID: SiI-130628113902: Subdisk SiI Raid1 Set:1-ada0 rebuild start at 0.
GEOM_RAID: SiI-130628113902: Volume SiI Raid1 Set state changed from STARTING to SUBOPTIMAL.
GEOM_RAID: SiI-130628113902: Provider raid/r0 for volume SiI Raid1 Set created.
GEOM_RAID: Intel-fb8732fa: Array Intel-fb8732fa created.
GEOM_RAID: Intel-fb8732fa: Force array start due to timeout.
GEOM_RAID: Intel-fb8732fa: Disk ada3 state changed from NONE to ACTIVE.
GEOM_RAID: Intel-fb8732fa: Subdisk Volume0:0-ada3 state changed from NONE to ACTIVE.
GEOM_RAID: Intel-fb8732fa: Array started.
GEOM_RAID: Intel-fb8732fa: Volume Volume0 state changed from STARTING to DEGRADED.
GEOM_RAID: Intel-fb8732fa: Provider raid/r1 for volume Volume0 created.
root@gw:/home/gandalf # 

确实是的。我想彻底摆脱 raid/r1。但是，控制器已在 BIOS 中设置为“IDE”模式。那么为什么它要创建一个raid卷？？？我也尝试过覆盖 ada3 的前 16k 数据并重新启动计算机，但它没有帮助。

如何删除 /dev/raid/r1 ？

root@gw:/home/gandalf # graid status
   Name      Status  Components
raid/r0  SUBOPTIMAL  ada0 (ACTIVE (RESYNC 4%))
                     ada1 (ACTIVE (ACTIVE))
raid/r1    DEGRADED  ada3 (ACTIVE (ACTIVE))
root@gw:/home/gandalf # graid delete raid/r1
graid: Array 'raid/r1' not found.
root@gw:/home/gandalf # graid delete /dev/raid/r1
graid: Array '/dev/raid/r1' not found.
root@gw:/home/gandalf #

谢谢

今天我在服务器上发现了这个（FreeBSD 8.2 STABLE）：

NAME STATE READ WRITE CKSUM
data DEGRADED 1.38K 0 0
  raidz1-0 DEGRADED 1.38K 0 0
    ad10 ONLINE 1.38K 0 0
    ad12 ONLINE 0 0 0
    ad14 ONLINE 0 0 0
    ad16 REMOVED 0 0 0 

我迅速拔下错误的硬盘并放入一个新的。之后，我输入了这个倒霉的命令：

zpool add data ad16

结果是池中出现了一个新的 ad16 设备：

NAME        STATE     READ WRITE CKSUM
data        DEGRADED     0     0     0
  raidz1-0  DEGRADED     0     0     0
    ad10    ONLINE       0     0     0
    ad12    ONLINE       0     0     0
    ad14    ONLINE       0     0     0
    ad16    FAULTED      0     0     0  corrupted data
  ad16      ONLINE       0     0     0

第一个 ad16 设备出现故障并且是 data/raidz1-0 卷的一部分。第二个 ad16 设备在线，不属于任何卷。问题是它们具有相同的名称，因此替换命令不起作用：

gw# zpool replace -f data ad16 ad16
invalid vdev specification
the following errors must be manually repaired:
/dev/ad16 is part of active pool 'data'

我认为我应该先删除联机 ad16 磁盘，然后才能更换故障的 ad16 磁盘。但这不起作用，因为我无法将其置于离线状态，也无法将其删除：

gw# zpool offline data ad16
gw# zpool status
  pool: data
 state: DEGRADED
status: One or more devices has been taken offline by the administrator.
    Sufficient replicas exist for the pool to continue functioning in a
    degraded state.
action: Online the device using 'zpool online' or replace the device with
    'zpool replace'.
 scan: scrub in progress since Thu Apr 18 03:23:06 2013
    26.1G scanned out of 3.13T at 50.7M/s, 17h52m to go
    0 repaired, 0.81% done
config:

    NAME        STATE     READ WRITE CKSUM
    data        DEGRADED     0     0     0
      raidz1-0  DEGRADED     0     0     0
        ad10    ONLINE       0     0     0
        ad12    ONLINE       0     0     0
        ad14    ONLINE       0     0     0
        ad16    OFFLINE      0     0     0
      ad16      ONLINE       0     0     0

errors: No known data errors
gw# zpool remove data ad16
cannot remove ad16: only inactive hot spares, cache, top-level, or log devices can be removed

我猜想“offline ad16”命令是针对 FAULTED 设备的。但我想离线另一个。我还尝试将系统引导到单用户模式，并删除了这个新磁盘，但这导致两个 ad16 设备都不可用，并且整个池不可用（这很奇怪，因为有足够的磁盘使其工作.. .)