假设我有一个 CLI 应用程序,我想做一些工作(例如处理一些媒体文件)。当我运行该应用程序的一个实例时,它会占用 20% 的 CPU。剩下的 80% 是空闲的。
我想要某种进程管理器,它可以运行尽可能多的应用程序实例,以使用几乎所有的 CPU。该应用程序知道该做什么以及如何不干扰其兄弟姐妹,但它无法生成/管理自己。
有这样的经理吗?我一直在使用 supervisor 来运行一组固定的不同应用程序,每个应用程序一个实例,但我不知道它是否可以用于运行同一应用程序的可变数量的实例,具体取决于 CPU 可用性。
为了最大限度地矫枉过正,有一些软件,例如,
HTCondor
尽管此类框架通常具有比您的案例所需的高设置成本和更长的学习曲线。一个更简单但不太灵活的解决方案是编写一个小脚本来检查当前的 CPU 负载,并从中决定是让
wait
进程退出还是生成一个或多个作业(然后让wait
进程退出)。这种脚本可能是诸如此类的东西HTCondor
演变而来的地方。更简单的可能是拥有一个
Makefile
然后使用make -j 4 ...
一个知道每个“作业”占用 20% - 25% 的 CPU 的地方。这假设您知道作业占用了多少 CPU,并且您知道作业并且可以将它们全部列出在Makefile
. 所以不是很灵活,除非你可以Makefile
从工作列表中生成。