Linux 上的批处理

我会设置某种排队服务。一个关于“准备使用”的快速谷歌显示：

• http://sqs.sourceforge.net/

根据您的需要，您可以简单地

• 创建一个用户提交作业的包装器，
• 包装器将作业写入套接字/文件/任何东西
• 创建一个消费者，逐个运行作业，等待它完成
• 然后由 cron 定期调用消费者（每 5 分钟左右）
  • 当然要创建一些锁定机制，以便一次只运行 n 个作业（其中 n=>1）
• 如果没有更多的工作什么都不做
• 如果有更多的工作抓住下一个并等待它完成

实际上还有更多，您可能有实现优先级队列的要求，这会带来诸如饥饿作业或类似问题之类的问题，但是让某些东西快速启动并运行并不是那么糟糕。

如果 LDP 按照womble的建议，我会接受。由更大的社区维护这样一个系统当然比为其他人已经解决的问题创建自己的错误更好:)

此外，排队服务具有将资源与实际数字运算解耦的优势。通过通过某些网络连接使作业可用，您可以简单地将硬件置于（可能的）扩展问题上，并具有几乎无限的可扩展性。

我想到了两个解决方案：

1. 用于xargs -P控制一次最大并行进程。
2. 创建一个 Makefile 并使用make -j.

它们实际上都在这个SO 线程中进行了更详细的总结。

这些可能不适用于您的脚本结构。

您的问题的一个重量级解决方案是使用类似Sun Grid Engine的东西。

太阳网格引擎 (SGE)。SGE是一个分布式资源管理软件，它允许集群/机器内的资源（cpu时间、软件、许可证等）得到有效利用。

这是一个关于如何使用 SGE 的小教程。

您可以查看一些用于在集群上调度作业的批处理系统，它可以选择监控资源使用情况并声明系统负载过大而无法向其分派更多工作负载。您也可以轻松地将它们配置为一次只运行一项作业，但为此，您最好使用比完整的批处理调度程序更简单的东西（本着保持简单的精神）。

至于免费提供的批处理/调度系统，我想到的两个是 OpenPBS/Torque 和 SGE。

编辑补充：如果您将来要以更多盒子的形式添加更多处理能力，那么像 Torque/OpenPBS/SGE 这样的批处理/调度系统可能是不错的选择，因为它们基本上是为管理计算资源而构建的并将工作负载分配给他们。

你总是可以使用 lpd——是的，老派，但它实际上是一个伪装成打印服务器的通用批处理控制系统。

来自man batch：

在系统负载水平允许时批量执行命令；换句话说，当平均负载低于 1.5 或 atd 调用中指定的值时。

我想这可能是你正在寻找的。它是 Debian 软件包的一部分at。

wava：一个内存感知调度程序，当系统中有足够的物理内存 (RSS) 可用时，它允许将批处理作业（以最大物理内存使用承诺提交）排队执行。

最初创建此调度程序是为了在具有大量 RAM 的机器中将大量长时间运行的作业排入队列，并作为其中大多数并发运行，避免内存分页和交换，以免影响运行在其中的其他服务的性能系统。

出于这个确切原因，我们将Control M用于 ETL 等（但在几年前）。当然它不是免费或开源的，但它在批处理方面具有非常好的灵活性（la if-this-then-that 类型的执行流程）

由 cron 调用的 shell 脚本可以很容易地做到这一点，它会逐行处理它。

我会使用 Torque，它是 FOSS OpenPBS 的更新版本。