主页 / computer / 问题 / 1449702
Accepted
should_be_working
Asked: 2019-06-18 07:06:46 +0800 CST

Kubernetes 一个作业被移动到另一个 pod

  • 772

一个长时间运行的作业 (45h) 被移动到另一个 pod 导致它重新启动。

从日志中我可以看到该作业收到了一个 SIGTERM，然后它在另一个 pod 上重新启动，也可能在另一个节点上重新启动。

在谷歌云中检索到的信息没有帮助。除了 pod 创建之外，页面Yaml或events不描述此事件。

作业 YamlcreationTimestamp: 2019-06-15T10:39:25Z

pod YamlcreationTimestamp: 2019-06-17T13:26:25Z

我主要使用具有多个节点的默认配置1.12.6-gke.11，并且服务器不可抢占。

这是 k8s 的默认行为吗？如果是，我该如何禁用它？

google-cloud-platform kubernetes

1 个回答

  1. Best Answer

    既然你说过你正在使用集群自动缩放，我将假设 pod 被删除是因为集群正在缩小。我们看到了类似的问题，因为我们正在使用 0-扩展的节点池（然后随着作业的添加而扩展）。

    仔细研究，我们找到了关于自动缩放器的自动缩放器文档，然后相应地修改了我们的作业：

    什么类型的 pod 可以阻止 CA 删除节点？

    • 具有限制性 PodDisruptionBudget 的 Pod。

    • Kube 系统 pod：

      • 默认情况下不在节点上运行，*
      • 没有设置 pod 中断预算或者他们的 PDB 限制太多（自 CA 0.6 起）。

    不受控制器对象支持的 Pod（因此不是由部署、副本集、作业、有状态集等创建的）。*

    具有本地存储的 Pod。*

    由于各种限制（缺乏资源、不匹配的节点选择器或亲和力、匹配的反亲和力等）而无法移动到其他地方的 Pod

    具有以下注释集的 Pod： "cluster-autoscaler.kubernetes.io/safe-to-evict": "false"

    这是最后一个为我们解决问题的人。我建议以此为起点。

    • 1

相关问题