主页 / server / 问题

问题[job-scheduler](server)

Martin Hope
dzierzak
Asked: 2021-11-08 05:11:45 +0800 CST
  • 0

我将简要描述我的应用程序工作流程：我有一个应用程序（cronjob），这个应用程序读取我的数据库，我想根据数据库的输出在 Kubernetes 中运行一些作业。有时 1 份工作，有时 10 份工作，这取决于。此外，我想将一些环境传递给这份工作。

此外，我在 GCP (Autopilot) 上运行我的 Kubernetes 集群，所以我不想让任何 pod 一直在运行。因此 Tekton 中的 EventListener 不是一个好的选择，因为 Kubernetes 服务在专用 Pod 中运行接收器逻辑。

我怎样才能以最合适的方式做到这一点？可能我应该使用 K8s API，但还有其他选择吗？

google-cloud-platform kubernetes google-kubernetes-engine job-scheduler
Martin Hope
Aadil Hoda
Asked: 2021-02-10 05:33:44 +0800 CST
  • 0

正如这里另一个问题中提到的：使用 crontab 进行作业调度，在此期间关闭计算机会发生什么？Cron作业在关机/重启情况下将无法工作，我们可以在这种情况下使用Anacron

就我而言，安排了很多Cron作业，并且主机重启的可能性很小，每年只有两次，并且主机在其余时间启动并运行，可能不需要从Cron更改为Anacron 。我的cron任务是在 CentOS 机器上分配的。有出路吗？

我是Cron工具的新手。任何朝着正确方向的想法都可以！

centos cron host job-scheduler
Martin Hope
Jonathan van de Groep
Asked: 2020-06-11 00:55:47 +0800 CST
  • 0

我目前正在构建一个向用户发送交易电子邮件的 API。我用工作队列来做这件事，尤其是公牛。在开发过程中，我想到了一些事情；这些工作实际在哪里执行？目前，我通过公牛将这些作业发送到在我计算机上的 docker 容器中运行的 redis 数据库。我的第一个想法是这些作业在 redis 容器中运行，但我认为这不是真的，因为那个 redis 容器没有运行 NodeJS，而 NodeJS 正是我用于 API 的。

我想这些作业实际上是在创建它们的同一台机器上执行的。但是，如果是这样的话，那么拥有一个工作队列有什么好处呢？我认为拥有一个作业队列的目的是将任务委托给其他东西，这样 API 就不会因发送所有这些电子邮件而减慢。据我了解，现在发生的一切只是通过向redis发送和接收作业来延迟任务。

我对工作队列很陌生。我希望我已经足够清楚地描述了我的情况。

谢谢你。

docker redis node.js job-scheduler queue
Martin Hope
Paco el Cuqui
Asked: 2016-08-02 01:43:04 +0800 CST
  • 0

我有一个由四个计算节点组成的 SGE 集群，每个节点有 20 个处理器。我不介意为某个特定用户提供一个特定节点的全部功能，即我不介意他/她使用所有 20 个处理器。那么我的问题是，这个用户应该使用 qlogin（通过使用 20 个处理器的队列）连接到那个特定的节点，还是只使用 ssh 到节点就可以了？

提前致谢

ubuntu ssh cluster hpc job-scheduler
Martin Hope
Micha
Asked: 2016-05-20 07:56:56 +0800 CST
  • 1

目前，我们已经建立了 Slurm 来管理一个由六个节点组成的小型集群，每个节点有四个 GPU。到目前为止效果很好，但现在我们希望将Intel Core i7-5820K CPU 用于只需要 CPU 处理能力的工作。每个 CPU 有 6 个内核和 12 个线程，每个 GPU 需要一个线程/逻辑内核，因此剩余 8 个线程（每个节点）可用于“仅 CPU”作业。

当前配置：

猫 /etc/slurm-llnl/gres.conf

Name=gpu File=/dev/nvidia0
Name=gpu File=/dev/nvidia1
Name=gpu File=/dev/nvidia2
Name=gpu File=/dev/nvidia3

cat /etc/slurm-llnl/slurm.conf（摘录）

SchedulerType=sched/builtin
SelectType=select/cons_res
SelectTypeParameters=CR_Core
AccountingStorageType=accounting_storage/none
GresTypes=gpu
MaxTasksPerNode=4

NodeName=node1 CoresPerSocket=4 Procs=8 Sockets=1 ThreadsPerCore=2 Gres=gpu:4 State=UNKNOWN
NodeName=node2 CoresPerSocket=4 Procs=8 Sockets=1 ThreadsPerCore=2 Gres=gpu:4 State=UNKNOWN
NodeName=node3 CoresPerSocket=4 Procs=8 Sockets=1 ThreadsPerCore=2 Gres=gpu:4 State=UNKNOWN
NodeName=node4 CoresPerSocket=4 Procs=8 Sockets=1 ThreadsPerCore=2 Gres=gpu:4 State=UNKNOWN
NodeName=node5 CoresPerSocket=4 Procs=8 Sockets=1 ThreadsPerCore=2 Gres=gpu:4 State=UNKNOWN
NodeName=node6 CoresPerSocket=4 Procs=8 Sockets=1 ThreadsPerCore=2 Gres=gpu:4 State=UNKNOWN

PartitionName=gpu Nodes=node[2-6] Default=NO Shared=NO MaxTime=INFINITE State=UP
PartitionName=short Nodes=node1 Default=YES Shared=NO MaxTime=INFINITE State=UP

我想第一步是更改CoresPerSocket=4 Procs=8为CoresPerSocket=6 Procs=12，因为这将与实际硬件匹配。

我已经尝试查阅文档，但我仍然不知道该怎么做。我需要修改gres.conf吗？File=我应该为 CPU 指定哪个？然后，我想我会添加第三个分区，也许叫做cpuonly. 但这甚至是完成我想做的事情的正确方法吗？我想我必须Gres=在以NodeName.

ubuntu cluster job-control hpc job-scheduler
Martin Hope
PlagTag
Asked: 2013-09-06 08:04:10 +0800 CST
  • 5

我是 SLURM 的新手。我正在寻找一种舒适的方法，以查看节点/节点列表中有多少内存可用于我的 srun 分配。

我已经玩过 sinfo 和 scontrol 和 sstat，但它们都没有在一个舒适的概述中为我提供我需要的信息。

我想写一个 shell 脚本，以便从 scontrol 获取所有作业的所有字段并总结它们。但必须有更简单的方法。如果有人有提示或想法，那就太好了！

job-scheduler