主页 / server / 问题 / 1044375
Accepted
Patrick
Asked: 2020-12-01 01:17:26 +0800 CST

在剧本执行之前/之后更新 SLURM 节点状态

  • 772

我想在运行我的 Ansible 剧本之前/之后自动设置 SLURM 集群中节点的状态（从空闲到耗尽以及在将剧本应用回空闲之后）。为此所需的scontrol命令仅在集群的头节点上可用。然而，Ansible playbook 适用于集群的计算节点。有没有办法在当前连接的主机之外的另一台主机上运行远程命令？我可以考虑只使用内置shell模块，然后通过 SSH 连接到头节点。但也许有更好的方法呢？

我已经在寻找现成的 Ansible 模块，但找不到适合我的用例的模块。现有的都专注于安装/配置 SLURM 集群。

然后我的想法是使用一个do-until循环来设置新的集群节点状态，然后反复检查节点是否已经切换到新状态（因为仍然可能有正在运行的作业）。

ansible slurm

1 个回答

  1. Best Answer

    我最终通过以下方式管理它：

    • 请注意，我正在从本地客户端（不是在头节点本身）运行剧本。

    • 我添加了一个strategy: free命令以允许尽可能快地在每个节点上执行，因为不太可能所有节点同时可用以应用配置。

    • 我添加了一个pre_task之前执行的并耗尽了一个节点：

      pre_tasks:
  - name:
    tags:
    - always
    delegate_to: 127.0.0.1
    shell: ssh -t user@slurm-head "srun -w {{ slurm_node_name}} sleep 3 && echo {{ ldap_passwd }} | sudo -S scontrol update NodeName={{ slurm_node_name }} State=Drain Reason=Maintenance"
    any_errors_fatal: true
    • 我添加了一个block捆绑我所有任务的部分，并以一个always部分结束，以确保即使某些任务失败，节点也会移回空闲状态。我在这里的假设是，未能应用配置不会破坏节点，最好让它再次可用，而不是阻止它，直到我有时间研究这个问题。
      tasks:
    - name: Configure node for Hardware Security course
      block:
      - name: Tasks 1
      ...
      - name: Task 2
      ...

      any_errors_fatal: true
      always:
      - name:
        tags:
        - always
        delegate_to: 127.0.0.1
        shell: ssh -t user@slurm-head "echo {{ ldap_password }} | sudo -S scontrol update NodeName={{ slurm_node_name }} State=RESUME"
    • 0

相关问题