主页 / server / 问题

问题[heartbeat](server)

Martin Hope
Bill Karwin
Asked: 2016-12-09 17:11:13 +0800 CST
  • 5

我在每个数据中心都有一对 CentOS Linux 服务器。它们在每个数据中心内都有故障转移，由心跳和DRBD管理（我知道这些是过时的工具，但它们很稳定，所以没有改变它们的愿望）。

它们还具有数据中心间切换的能力，使东部数据中心处于活动状态，而西部数据中心变为被动。但这是一个手动工程过程，没关系。

西部数据中心目前是主动的，东部数据中心是被动的。

serverA.west <-> serverB.west  <-----------> serverA.east <-> serverB.east
     ACTIVE DATA CENTER                           PASSIVE DATA CENTER

服务器可以运行 mysqld 和 Java 应用程序。

此服务器上的 Java 应用程序应仅在活动数据中心（即 serverA.west）中的 Primary 主机上运行。如果 Java 应用程序的另一个实例在辅助主机 (serverB.west) 或被动数据中心的任一主机上启动，则存在脑裂问题的风险。

今天serverA.east重新启动，导致心跳切换到serverB.east。Heartbeat 然后尽职尽责地在 serverB.east 上启动了 Java 应用程序，这是我们不希望发生的。

Heartbeat 也在 serverB.east 上启动了 mysqld，这是正确的，因为 MySQL 复制应该继续进行，不断复制来自西部数据中心的更改，以便东部 DC 准备好在需要时接管。

/etc/ha.d/haresources 将 mysqld 和 Java 应用程序的 /etc/init.d 脚本命名为要启动的资源。

我们希望允许 heartbeat 管理被动数据中心中的 A/B 对。它应该在故障转移时启动 mysqld，而不是 Java 应用程序。但是，如果东部数据中心是活动的，那么心跳应该在心跳自动故障转移期间启动 Java 应用程序。

什么是实现这个的好方法？

我希望的是在我们将活动数据中心从西向东切换时需要一步配置的东西。理想情况下，它应该是防错的，即应该保证恰好有一个数据中心被配置为活动的。

linux centos high-availability failover heartbeat
Martin Hope
strzelecki.maciek
Asked: 2013-03-12 08:28:50 +0800 CST
  • 0

我有两个节点，完整的 IP 故障转移对它们非常有效 - 当节点 1 关闭时，节点 2 获取 IP 并启动服务。

我想知道的是：

如果服务器1没有完全崩溃，只是其中一个服务意外停止，是否可以配置heartbeat来监视它并启动它？

编辑：起搏器有可能吗？

引自http://clusterlabs.org/wiki/FAQ#Organizational

Pacemaker 在您的应用程序或运行它们的机器发生故障时让您的应用程序保持运行

heartbeat
Martin Hope
Jorge Suárez de Lis
Asked: 2012-07-18 07:39:53 +0800 CST
  • 1

我有一个运行 Ubuntu 10.04 的 NFS 服务器，服务于 OCFS2 文件系统。设置有点复杂，因为服务器安装了 Heartbeat 和 Pacemaker 以与另一台服务器建立集群。

不管怎样，奇怪的是：

# tail -12 /var/log/messages
Jul 17 17:15:45 ctserv01 exportfs[14870]: INFO: Directory /export/homes is exported to 172.16.54.0/24 (started).
Jul 17 17:15:45 ctserv01 exportfs[14869]: INFO: Directory /export/proyectos is exported to 172.16.54.0/24 (started).
Jul 17 17:15:45 ctserv01 exportfs[14871]: INFO: Directory /export is exported to 172.16.54.0/24 (started).
Jul 17 17:16:15 ctserv01 exportfs[15960]: INFO: Directory /export/proyectos is exported to 172.16.54.0/24 (started).
Jul 17 17:16:15 ctserv01 exportfs[15961]: INFO: Directory /export is exported to 172.16.54.0/24 (started).
Jul 17 17:16:15 ctserv01 exportfs[15962]: INFO: Directory /export/homes is exported to 172.16.54.0/24 (started).
Jul 17 17:16:45 ctserv01 exportfs[17054]: INFO: Directory /export/proyectos is exported to 172.16.54.0/24 (started).
Jul 17 17:16:45 ctserv01 exportfs[17055]: INFO: Directory /export/homes is exported to 172.16.54.0/24 (started).
Jul 17 17:16:45 ctserv01 exportfs[17056]: INFO: Directory /export is exported to 172.16.54.0/24 (started).
Jul 17 17:17:15 ctserv01 exportfs[18168]: INFO: Directory /export is exported to 172.16.54.0/24 (started).
Jul 17 17:17:15 ctserv01 exportfs[18169]: INFO: Directory /export/proyectos is exported to 172.16.54.0/24 (started).
Jul 17 17:17:15 ctserv01 exportfs[18170]: INFO: Directory /export/homes is exported to 172.16.54.0/24 (started).

日志显示 exportfs 每 30 秒重新生成一次。NFS 服务器大部分时间工作正常，但几天后，它开始每 13-15 分钟挂起长达 20 秒，人们为此大声疾呼。

可能 Pacemaker、Heartbeat 或其他东西导致了这种情况。或者这可能是预期的行为，问题应该出在其他地方？

Pacemaker 配置（注意 /export/proyectos 现在已停止）：

# crm configure show
node $id="06334af6-e766-457c-8c30-457080276507" ctserv01
node $id="bf53e028-9f27-4ef3-bb45-4fcef981e441" ctserv02
primitive ClusterIP ocf:heartbeat:IPaddr2 \
    params ip="172.16.54.56" cidr_netmask="24" nic="eth0"
primitive exports_nfs_home ocf:heartbeat:exportfs \
    params rmtab_backup="none" directory="/export/homes" clientspec="172.16.54.0/24" options="rw,async,no_subtree_check,insecure,root_squash" fsid="1" \
    op monitor interval="30s" \
    op start interval="0" timeout="240s" \
    meta target-role="Started"
primitive exports_nfs_proys ocf:heartbeat:exportfs \
    params rmtab_backup="none" directory="/export/proyectos" clientspec="172.16.54.0/24" options="rw,async,no_subtree_check,insecure,root_squash" fsid="2" \
    op monitor interval="30s" \
    op start interval="0" timeout="240s" \
    meta target-role="Stopped"
primitive exports_nfs_root ocf:heartbeat:exportfs \
    params rmtab_backup="none" directory="/export" clientspec="172.16.54.0/24" options="rw,async,no_subtree_check,insecure" fsid="0" \
    op monitor interval="30s" \
    op start interval="0" timeout="240s"
group grupo_nfs ClusterIP exports_nfs_root exports_nfs_home exports_nfs_proys
location nodo_preferido grupo_nfs 100: 06334af6-e766-457c-8c30-457080276507
order orden_de_recursos inf: ClusterIP exports_nfs_root exports_nfs_home exports_nfs_proys
property $id="cib-bootstrap-options" \
    dc-version="1.1.6-9971ebba4494012a93c03b40a2c58ec0eb60f50c" \
    cluster-infrastructure="Heartbeat" \
    stonith-enabled="false" \
    no-quorum-policy="ignore" \
    expected-quorum-votes="2" \
    cluster-recheck-interval="60min"
nfs heartbeat pacemaker nfs4 ocfs2
Martin Hope
Antonis Christofides
Asked: 2012-07-06 07:29:35 +0800 CST
  • 2

我有两台真实服务器，位于不同的子网上，每台服务器都有一个永久 IP，并且有一个可供任一服务器使用的故障转移 IP。托管商提供了一个 API，我可以使用该 API 将故障转移 IP 分配给任何服务器。所以我需要在每台服务器上运行一个守护进程，它将监视本地服务器的健康状况，同时与另一台服务器上的对应通信，以便两者一起（或者只有一个，如果其他失败）决定谁将获得故障转移 IP（并运行脚本告诉托管商的 API 适当地路由它）。

keepalived不能这样做，除非（据称）使用 Willy Tarreau 的单播补丁，但我尝试过但未成功。此外，守护进程最好不要尝试从网络接口获取或释放 IP；首选设置是两台机器的接口始终具有故障转移 IP 地址。

可以heartbeat吗？任何其他类似的程序都可以吗？我最终编写了自己的守护进程，它确实可以正常工作，但如果现有程序可以做到这一点，我认为没有理由维护它。

linux high-availability failover heartbeat keepalived
Martin Hope
user439407
Asked: 2012-07-03 17:19:17 +0800 CST
  • 1

所以我试图在云环境中设置冗余 NFS 共享（所有链接内部，半演出链接），我正在研究使用心跳进行故障转移，但所有指南似乎都是关于结合 DRBD 和心跳来创建一个健壮的环境。如果需要我可以这样做，但由于我的内容几乎是完全静态的，我想尽可能避免 DRBD 的额外开销和复杂性，但如果其中一台 NFS 服务器发生故障，我仍然能够进行故障转移。是否可以在不使用 DRBD 复制块的情况下将心跳与 NFS 一起使用以实现高可用性？我没有与 NFSv4 结婚，所以如果需要通过 UDP 的 NFSv3，那将不是问题（只有极少数客户端会连接到共享）

任何评论表示赞赏。

nfs drbd failover heartbeat
Martin Hope
Quinn Murphy
Asked: 2012-06-20 12:09:05 +0800 CST
  • 5

我有一个场景，其中 DRBD 心跳设置有一个故障节点但没有故障转移。发生的事情是主节点已锁定，但没有直接关闭（它无法通过 ssh 或使用 nfs 挂载访问，但可以 ping 通）。期望的行为是检测到这一点并故障转移到辅助节点，但似乎由于主节点没有完全关闭（服务器到服务器之间有专用网络连接），心跳检测机制没有启动在那上面，因此没有故障转移。

有人见过这个吗？是否需要配置一些东西以实现更强大的集群故障转移？DRBD 似乎在其他方面工作正常（当我重新启动旧的主数据库时必须重新同步），但如果没有良好的故障转移，它的使用是有限的。

  • 心跳3.0.4
  • drbd84
  • 瑞尔 6.1
  • 我们没有使用起搏器

nfs03 是此设置中的主服务器，nfs01 是辅助服务器。

ha.cf

  # Hearbeat Logging
logfacility daemon
udpport 694


ucast eth0 192.168.10.47
ucast eth0 192.168.10.42

# Cluster members
node nfs01.openair.com
node nfs03.openair.com

# Hearbeat communication timing.
# Sets the triggers and pulse time for swapping over.
keepalive 1
warntime 10
deadtime 30
initdead 120


#fail back automatically
auto_failback on

这是 haresources 文件：

nfs03.openair.com   IPaddr::192.168.10.50/255.255.255.0/eth0      drbddisk::data  Filesystem::/dev/drbd0::/data::ext4 nfs nfslock
linux redhat drbd heartbeat
Martin Hope
Drew
Asked: 2010-03-19 13:32:38 +0800 CST
  • 0

有没有人有使用心跳（linux-ha.org）和 NetApp 存储（最好使用 SnapDrive for Linux）设置高可用性两节点 Linux 集群的经验？

基本上我想通过光纤通道以主动/被动模式将相同的 NetApp LUN 挂载到两台服务器（一次只有一台服务器可以访问 LUN）

谢谢！

linux netapp high-availability heartbeat
Martin Hope
Ger Apeldoorn
Asked: 2010-03-09 01:22:48 +0800 CST
  • 2

我有一个带有 Apache、MySQL、ActiveMQ 和 DRBD 的主动-被动 Heartbeat 集群。

今天想在辅助节点（node04）上进行硬件维护，所以我在关闭之前停止了心跳服务。

然后，主节点（node03）收到了来自辅助节点（node04）的关闭通知。

此日志记录来自主节点：node03

heartbeat[4458]: 2010/03/08_08:52:56 info: Received shutdown notice from 'node04.companydomain.nl'.
heartbeat[4458]: 2010/03/08_08:52:56 info: Resources being acquired from node04.companydomain.nl.
harc[27522]:    2010/03/08_08:52:56 info: Running /etc/ha.d/rc.d/status status
heartbeat[27523]: 2010/03/08_08:52:56 info: Local Resource acquisition completed.
mach_down[27567]:       2010/03/08_08:52:56 info: /usr/share/heartbeat/mach_down: nice_failback: foreign resources acquired
mach_down[27567]:       2010/03/08_08:52:56 info: mach_down takeover complete for node node04.companydomain.nl.
heartbeat[4458]: 2010/03/08_08:52:56 info: mach_down takeover complete.
harc[27620]:    2010/03/08_08:52:56 info: Running /etc/ha.d/rc.d/ip-request-resp ip-request-resp
ip-request-resp[27620]: 2010/03/08_08:52:56 received ip-request-resp drbddisk OK yes
ResourceManager[27645]: 2010/03/08_08:52:56 info: Acquiring resource group: node03.companydomain.nl drbddisk Filesystem::/dev/drbd0::/data::ext3 mysql apache::/etc/httpd/conf/httpd.conf LVSSyncDaemonSwap::master monitor activemq tivoli-cluster MailTo::[email protected]::DRBDFailureAcc MailTo::[email protected]::DRBDFailureAcc 1.2.3.212
ResourceManager[27645]: 2010/03/08_08:52:56 info: Running /etc/ha.d/resource.d/drbddisk  start
Filesystem[27700]:      2010/03/08_08:52:57 INFO:  Running OK
ResourceManager[27645]: 2010/03/08_08:52:57 info: Running /etc/ha.d/resource.d/mysql  start
mysql[27783]:   2010/03/08_08:52:57 Starting MySQL[ OK ]
apache[27853]:  2010/03/08_08:52:57 INFO:  Running OK
ResourceManager[27645]: 2010/03/08_08:52:57 info: Running /etc/ha.d/resource.d/monitor  start
monitor[28160]: 2010/03/08_08:52:58
ResourceManager[27645]: 2010/03/08_08:52:58 info: Running /etc/ha.d/resource.d/activemq  start
activemq[28210]:        2010/03/08_08:52:58 Starting ActiveMQ Broker... ActiveMQ Broker is already running.
ResourceManager[27645]: 2010/03/08_08:52:58 ERROR: Return code 1 from /etc/ha.d/resource.d/activemq
ResourceManager[27645]: 2010/03/08_08:52:58 CRIT: Giving up resources due to failure of activemq
ResourceManager[27645]: 2010/03/08_08:52:58 info: Releasing resource group: node03.companydomain.nl drbddisk Filesystem::/dev/drbd0::/data::ext3 mysql apache::/etc/httpd/conf/httpd.conf LVSSyncDaemonSwap::master monitor activemq tivoli-cluster MailTo::[email protected]::DRBDFailureAcc MailTo::[email protected]::DRBDFailureAcc 1.2.3.212
ResourceManager[27645]: 2010/03/08_08:52:58 info: Running /etc/ha.d/resource.d/IPaddr 1.2.3.212 stop
IPaddr[28329]:  2010/03/08_08:52:58 INFO: ifconfig eth0:0 down
IPaddr[28312]:  2010/03/08_08:52:58 INFO:  Success
ResourceManager[27645]: 2010/03/08_08:52:58 info: Running /etc/ha.d/resource.d/MailTo [email protected] DRBDFailureAcc stop
MailTo[28378]:  2010/03/08_08:52:58 INFO:  Success
ResourceManager[27645]: 2010/03/08_08:52:58 info: Running /etc/ha.d/resource.d/MailTo [email protected] DRBDFailureAcc stop
MailTo[28433]:  2010/03/08_08:52:58 INFO:  Success
ResourceManager[27645]: 2010/03/08_08:52:58 info: Running /etc/ha.d/resource.d/tivoli-cluster  stop
ResourceManager[27645]: 2010/03/08_08:52:58 info: Running /etc/ha.d/resource.d/activemq  stop
activemq[28503]:        2010/03/08_08:53:01 Stopping ActiveMQ Broker... Stopped ActiveMQ Broker.
ResourceManager[27645]: 2010/03/08_08:53:01 info: Running /etc/ha.d/resource.d/monitor  stop
monitor[28681]: 2010/03/08_08:53:01
ResourceManager[27645]: 2010/03/08_08:53:01 info: Running /etc/ha.d/resource.d/LVSSyncDaemonSwap master stop
LVSSyncDaemonSwap[28714]:       2010/03/08_08:53:02 info: ipvs_syncmaster down
LVSSyncDaemonSwap[28714]:       2010/03/08_08:53:02 info: ipvs_syncbackup up
LVSSyncDaemonSwap[28714]:       2010/03/08_08:53:02 info: ipvs_syncmaster released
ResourceManager[27645]: 2010/03/08_08:53:02 info: Running /etc/ha.d/resource.d/apache /etc/httpd/conf/httpd.conf stop
apache[28782]:  2010/03/08_08:53:03 INFO: Killing apache PID 18390
apache[28782]:  2010/03/08_08:53:03 INFO: apache stopped.
apache[28771]:  2010/03/08_08:53:03 INFO:  Success
ResourceManager[27645]: 2010/03/08_08:53:03 info: Running /etc/ha.d/resource.d/mysql  stop
mysql[28851]:   2010/03/08_08:53:24 Shutting down MySQL.....................[ OK ]
ResourceManager[27645]: 2010/03/08_08:53:24 info: Running /etc/ha.d/resource.d/Filesystem /dev/drbd0 /data ext3 stop
Filesystem[29010]:      2010/03/08_08:53:25 INFO: Running stop for /dev/drbd0 on /data
Filesystem[29010]:      2010/03/08_08:53:25 INFO: Trying to unmount /data
Filesystem[29010]:      2010/03/08_08:53:25 ERROR: Couldn't unmount /data; trying cleanup with SIGTERM
Filesystem[29010]:      2010/03/08_08:53:25 INFO: Some processes on /data were signalled
Filesystem[29010]:      2010/03/08_08:53:27 INFO: unmounted /data successfully
Filesystem[28999]:      2010/03/08_08:53:27 INFO:  Success
ResourceManager[27645]: 2010/03/08_08:53:27 info: Running /etc/ha.d/resource.d/drbddisk  stop
heartbeat[4458]: 2010/03/08_08:53:29 WARN: node node04.companydomain.nl: is dead
heartbeat[4458]: 2010/03/08_08:53:29 info: Dead node node04.companydomain.nl gave up resources.
heartbeat[4458]: 2010/03/08_08:53:29 info: Link node04.companydomain.nl:eth0 dead.
heartbeat[4458]: 2010/03/08_08:53:29 info: Link node04.companydomain.nl:eth1 dead.
hb_standby[29193]:      2010/03/08_08:53:57 Going standby [foreign].
heartbeat[4458]: 2010/03/08_08:53:57 info: node03.companydomain.nl wants to go standby [foreign]

苏……这里发生了什么？？？

  • node04 上的心跳停止并告诉 node03，它是当时的活动节点。
  • 不知何故，node03 决定启动已经在运行的集群进程。（对于不重要的进程，我总是从启动脚本返回一个 0，因此当非必要部分失败时它不会停止整个集群。）
  • 启动 ActiveMQ 时，它返回状态 1，因为它已经在运行。
  • 这会使节点失败并关闭所有内容。由于心跳不在辅助节点上运行，它无法故障转移到那里。

当我尝试运行 ha_takeover 以重新启动资源时，绝对没有发生任何事情。

只有在我在主节点上重新启动心跳后，才能启动资源（延迟 2 分钟后）。

这些是我的问题：

  • 为什么主节点上的心跳会再次尝试启动集群进程？
  • 为什么 ha_takeover 不起作用？
  • 我能做些什么来防止这种情况发生？

服务器配置：

DRBD：

version: 8.3.7 (api:88/proto:86-91)
GIT-hash: ea9e28dbff98e331a62bcbcc63a6135808fe2917 build by [email protected], 2010-01-20 09:14:48
 0: cs:Connected ro:Secondary/Primary ds:UpToDate/UpToDate B r----
    ns:0 nr:6459432 dw:6459432 dr:0 al:0 bm:301 lo:0 pe:0 ua:0 ap:0 ep:1 wo:d oos:0

unname -a

Linux node04 2.6.18-164.11.1.el5 #1 SMP Wed Jan 6 13:26:04 EST 2010 x86_64 x86_64 x86_64 GNU/Linux

资源

node03.companydomain.nl \
          drbddisk \
          Filesystem::/dev/drbd0::/data::ext3 \
          mysql \
          apache::/etc/httpd/conf/httpd.conf \
          LVSSyncDaemonSwap::master \
          monitor \
          activemq \
          tivoli-cluster \
          MailTo::[email protected]::DRBDFailureAcc \
          MailTo::[email protected]::DRBDFailureAcc \
          1.2.3.212

ha.cf

debugfile /var/log/ha-debug
logfile /var/log/ha-log
keepalive 500ms
deadtime 30
warntime 10
initdead 120
udpport 694
mcast eth0 225.0.0.3 694 1 0
mcast eth1 225.0.0.4 694 1 0
auto_failback off
node    node03.companydomain.nl
node    node04.companydomain.nl

respawn hacluster /usr/lib64/heartbeat/dopd
apiauth dopd gid=haclient uid=hacluster

非常感谢您，

热阿珀尔多伦

linux drbd high-availability heartbeat linux-ha
Martin Hope
Brent
Asked: 2009-07-24 13:33:51 +0800 CST
  • 1

我正在使用 linux heartbeat 来保持 ldirectord 在我的网络服务器上运行。

我的日志显示心跳警告：每几分钟丢失 1 个数据包，我无法弄清楚原因。

我曾尝试在 /etc/ha.d/ha.cf 中更改 DEADTIME 和 WARNTIME，但这些似乎解决了延迟数据包，而不是丢失数据包。

netstat -ai在我的接口上没有报告错误

知道是什么导致了这些警告，以及如何解决它们？

linux troubleshooting heartbeat