在业务中的另一个流程完成后,我们目前正在为一些繁重的工作 (ETL) 设置服务器,目前我们正在通过预定的 cron 作业或远程执行(通过 ssh)启动作业。本周早些时候,我们遇到了一个问题,即系统上并行运行的作业过多,这导致所有作业在争夺 CPU 时间时速度缓慢。
我一直在寻找一个批处理调度器,一个我们可以将作业插入运行队列的系统,系统会一个一个地处理它们。任何人都可以建议一个程序/系统来做到这一点吗?由于该项目的鞋带性质,低成本/ FOSS 将受到赞赏。
在业务中的另一个流程完成后,我们目前正在为一些繁重的工作 (ETL) 设置服务器,目前我们正在通过预定的 cron 作业或远程执行(通过 ssh)启动作业。本周早些时候,我们遇到了一个问题,即系统上并行运行的作业过多,这导致所有作业在争夺 CPU 时间时速度缓慢。
我一直在寻找一个批处理调度器,一个我们可以将作业插入运行队列的系统,系统会一个一个地处理它们。任何人都可以建议一个程序/系统来做到这一点吗?由于该项目的鞋带性质,低成本/ FOSS 将受到赞赏。