主页 / dba / 问题 / 323668
Accepted
Erick Ramirez
Asked: 2023-02-17 13:18:25 +0800 CST

为什么新节点会“无法与其他节点闲聊”？

  • 772

症状

添加到 Cassandra 集群的新节点无法与种子节点进行八卦。

另一个症状是当一个已重启的现有节点无法与集群中的其他节点进行 gossip 时，在启动期间报告以下错误：

ERROR [main] 2019-08-15 18:46:32,241 CassandraDaemon.java:749 - Exception encountered during startup
java.lang.RuntimeException: Unable to gossip with any peers
        at org.apache.cassandra.gms.Gossiper.doShadowRound(Gossiper.java:1435) ~[apache-cassandra-3.11.4.jar:3.11.4]
        at org.apache.cassandra.service.StorageService.checkForEndpointCollision(StorageService.java:566) ~[apache-cassandra-3.11.4.jar:3.11.4]
        at org.apache.cassandra.service.StorageService.prepareToJoin(StorageService.java:823) ~[apache-cassandra-3.11.4.jar:3.11.4]
        at org.apache.cassandra.service.StorageService.initServer(StorageService.java:683) ~[apache-cassandra-3.11.4.jar:3.11.4]
        at org.apache.cassandra.service.StorageService.initServer(StorageService.java:632) ~[apache-cassandra-3.11.4.jar:3.11.4]
        at org.apache.cassandra.service.CassandraDaemon.setup(CassandraDaemon.java:388) ~[apache-cassandra-3.11.4.jar:3.11.4]
        at org.apache.cassandra.service.CassandraDaemon.activate(CassandraDaemon.java:620) ~[apache-cassandra-3.11.4.jar:3.11.4]
        at org.apache.cassandra.service.CassandraDaemon.main(CassandraDaemon.java:732) ~[apache-cassandra-3.11.4.jar:3.11.4]

在某些情况下，其他节点能够将受影响的节点视为可操作的，但有问题的节点无法与其他节点进行八卦。以下是 的示例输出nodetool gossipinfo：

/10.1.2.4
  generation:0
  heartbeat:0
/10.1.2.3
  generation:0
  heartbeat:0
/10.1.2.6
  generation:1444263348
  heartbeat:6232
  ...
  DC:DC1
  STATUS:NORMAL,-1041938454866204344
  ...
/10.1.2.5
  generation:0
  heartbeat:0

另一个症状是受影响的节点将另一个 DC 中的节点视为“关闭”（DN或关闭/正常），如以下示例nodetool status输出所示：

Datacenter: r1 
============== 
Status=Up/Down 
|/ State=Normal/Leaving/Joining/Moving 
-- Address Load Tokens Owns Host ID Rack 
DN 10.1.2.5 ? 256 9.0% 5279619a-550c-42b3-8150-61ad24f828f3 r1 
DN 10.1.2.3 ? 256 9.1% 5d1fa459-cdac-4658-b68d-c6e0933afcee r1 
DN 10.1.2.4 ? 256 10.5% a8f35c63-6a76-4e95-99f1-bef65d785366 r1 
Datacenter: DC1 
=============== 
Status=Up/Down 
|/ State=Normal/Leaving/Joining/Moving 
-- Address Load Tokens Owns Host ID Rack 
UN 10.1.2.6 18.9 GB 256 9.5% 36fdcf57-0274-43b8-a501-c0e475e3e30b RAC1
cassandra

1 个回答

  1. Best Answer

    原因

    八卦问题最常见的原因是：

    • 缺乏网络连接，
    • 时钟漂移，和
    • 提交日志权限。

    网络 - 节点使用八卦协议在集群中相互通信信息。如果节点之间没有连接，它们将无法相互八卦。

    时钟 - Cassandra 使用服务器的本地时间来生成“心跳生成”。当与其他节点闲聊时，Cassandra 将本地八卦生成与其他节点进行比较，以验证八卦信息。

    如果 gossip 生成距离太远，Cassandra 将拒绝其他节点的 gossip 信息为无效，这意味着 gossip 失败。

    COMMIT LOG - 如果 Cassandra 没有目录commitlog/或文件的写权限，内存表刷新将被阻止并防止节点闲聊。例如，如果 Cassandra 被意外启动为root代替cassandra或某些其他服务帐户，就会发生这种情况。

    解决方案

    为了使八卦起作用，节点必须能够在 TCP 端口7000（7001SSL 端口）上双向相互通信：

    • 检查软件防火墙如iptables或firewalld是否配置错误。
    • 检查您组织的服务器配置过程中是否遗漏了一些步骤——新的安全设置是否无意中应用于节点？
    • 检查网络设备上的端口是否配置错误或硬件故障。
    • 检查服务质量 (QoS) 或带宽限制规则等网络策略是否存在错误配置 - 它们是否适用于此环境？

    检查服务器上的时间。确保已配置 NTP 并且没有时间漂移。

    最后，检查目录的文件权限commitlog/并根据需要重置所有权。干杯!

    • 0

相关问题