我的 Kubernetes v1.16.3 集群中的一个节点最终处于一种奇怪的状态。该节点正在运行 Debian 10.1 和 Docker 19.03.1。当我尝试kubectl exec sh
进入该节点上的容器时,我在节点中看到这些错误消息journalctl -u docker
(第二个也由kubectl
自身报告):
stream copy error: reading from a closed fifo
Error running exec ... in container: failed to create runc console socket: mkdir /tmp/pty...: no space left on device ..."
在这一点上,我看不到哪个设备可能已满。一个简单df
的不会引起任何警报。我该如何进一步诊断和纠正这种情况?
顺便说一句,到目前为止,问题一直存在于kubectl drain
、 、systemctl restart docker
、 重新启动kube-proxy
和 CNI 的 pod 以及其他几个措施中。
正如 OP 在评论中已经提到的那样,结合
docker system prune
并docker rmi $(docker images -q)
纠正了这种情况。