我们在两个运行 Ubuntu 的管理程序上运行 gluster。当我们从 Ubuntu 14.04 升级到 18.04 时,它会将 gluster 从 3.4.2 升级到 3.13.2。一旦我们升级,从那时起,我们就看到系统上的 iowait 显着提高,由 top 和 iotop 衡量,而 iotop 表明 glusterfsd 是罪魁祸首。出于某种原因,glusterfsd 正在执行更多的磁盘读取和/或这些读取正在以更高的速率被阻止。来宾虚拟机也看到了更多的 iowait——它们的图像托管在 gluster 卷上。这会导致虚拟机上托管的服务响应不一致。
我正在寻找有关如何解决和/或解决此问题的任何建议。我们还有其他站点仍在运行 14.04,因此我可以比较/对比任何配置参数和性能。
14.04 上的块调度程序设置为截止日期,18.04 设置为 cfq。但是将 18.04 调度程序更改为截止日期并没有任何区别。
我想知道 18.04 上的 glusterfsd 是否没有尽可能多地缓存。我们尝试大幅增加 performance.cache-size 但这并没有什么不同。
我们正在考虑但尚未尝试的另一个选项是通过将包从 Ubuntu 19.04 反向移植到 18.04 来升级到 gluster 5.3。有人认为这可能会有所帮助吗?
是否有任何我们可以设置的特定调试日志记录或我们可以运行的其他命令来更好地解决这个问题?任何想法,建议,想法将不胜感激。
升级到 gluster 5.3 解决了这个问题。Ubuntu 18.04 有一个方便的 PPA:
https://launchpad.net/~gluster/+archive/ubuntu/glusterfs-5