主页 / unix / 问题 / 516203
Accepted
KuboMD
Asked: 2019-04-30 09:30:10 +0800 CST

如果我启动太多后台作业会怎样？

  • 772

我需要使用期望脚本在 700 个网络设备上做一些工作。我可以按顺序完成，但到目前为止运行时间约为 24 小时。这主要是由于建立连接所需的时间以及这些设备（旧设备）的输出延迟。我能够建立两个连接并让它们并行运行就好了，但是我能推多远呢？

我不认为我可以一次完成所有 700 次，当然这个次数是有限度的。我的虚拟机可以管理的 telnet 连接数。

如果我确实尝试以这样的某种循环启动其中的 700 个：

for node in `ls ~/sagLogs/`; do  
    foo &  
done

和

  • CPU 12 个 CPU x Intel(R) Xeon(R) CPU E5649 @ 2.53GHz

  • 内存 47.94 GB

我的问题是：

  1. 所有 700 个实例可能同时运行吗？
  2. 在我的服务器达到其限制之前，我能走多远？
  3. 当达到该限制时，它会等待开始下一次迭代foo还是会崩溃？

不幸的是，我在公司生产环境中运行，所以我不能完全尝试看看会发生什么。

bash background-process

4 个回答

  1. Best Answer

    所有 700 个实例可能同时运行吗？

    这取决于你的意思是并发。如果我们很挑剔，那么不，除非您的系统上有 700 个可以使用的执行线程（所以可能不会），否则他们不能。但实际上，是的，如果您在系统上有足够的 RAM 和/或交换空间，它们可能可以。UNIX 及其各种子代非常擅长管理大量并发，这也是它们在大规模 HPC 使用中如此受欢迎的部分原因。

    在我的服务器达到其限制之前，我能走多远？

    如果没有更多信息，这是不可能具体回答的。差不多，你需要有足够的内存来满足：

    • 一个作业的整个运行时内存需求，乘以 700。
    • bash 管理这么多作业的内存要求（bash 对此并不可怕，但作业控制并不是完全有效的内存）。
    • 系统上的任何其他内存要求。

    假设你遇到了（同样，只有 50GB 的 RAM，你仍然需要处理其他问题：

    • bash 在作业控制上会浪费多少 CPU 时间？可能不多，但有数百个工作岗位，这可能很重要。
    • 这需要多少网络带宽？仅打开所有这些连接可能会淹没您的网络几分钟，具体取决于您的带宽和延迟。
    • 还有很多我可能没有想到的事情。

    当达到这个限制时，它会等待从 foo 开始下一次迭代还是会崩溃？

    这取决于达到什么限制。如果是内存，系统会死机（更具体地说，被内核杀死以试图释放内存）或者系统本身可能崩溃（将系统配置为在内存不足时故意崩溃并不罕见）。如果是 CPU 时间，它将继续运行而不会出现问题，就不可能在系统上做很多其他事情。但是，如果是网络，您可能会导致其他系统或服务崩溃。

    您真正需要的不是同时运行所有作业。相反，将它们分成批次，并同时运行一个批次中的所有作业，让它们完成，然后开始下一个批次。GNU Parallel ( https://www.gnu.org/software/parallel/ ) 可用于此目的，但在生产环境中以这种规模并不理想（如果您使用它，请不要太激进，就像我说的那样，您可能会淹没网络并影响您否则不会接触到的系统）。我真的建议您研究像 Ansible 这样的适当网络编排工具（https://www.ansible.com/)，因为这不仅可以解决您的并发问题（Ansible 会像我上面提到的那样自动进行批处理），还可以为您提供许多其他有用的功能（例如任务的幂等执行、良好的状态报告以及与大量其他工具）。

    • 17

  2. 很难具体说明有多少实例可以按照您描述的方式作为后台作业运行。但是一台普通的服务器，只要你做对了，肯定能维持700个并发连接。网络服务器一直这样做。

    我可以建议您使用 GNU 并行 ( https://www.gnu.org/software/parallel/ ) 或类似的东西来完成此任务吗？它会给你一些后台作业方法的优势：

    • 您可以轻松更改并发会话数。
    • 它会等到会话完成后再开始新的会话。
    • 它更容易中止。

    在这里查看快速入门：https ://www.gnu.org/software/parallel/parallel_tutorial.html#A-single-input-source

    • 12

  3. 在执行一些操作以及监视进度时，使用&并行处理很好。但是，如果您在企业生产环境中运行，则需要能够更好地控制的东西。

    ls ~/sagLogs/ | parallel --delay 0.5 --memfree 1G -j0 --joblog my.log --retries 10 foo {}

    这foo将对~/sagLogs. 它每 0.5 秒启动一个作业，只要 1 GB RAM 可用，它就会并行运行尽可能多的作业，但会尊重系统的限制（例如文件和进程的数量）。通常这意味着如果您没有调整允许的打开文件数，您将并行运行 250 个作业。如果你调整打开文件的数量，你应该没有问题并行运行 32000 - 只要你有足够的内存。

    如果作业失败（即返回错误代码），它将重试 10 次。

    my.log会告诉你工作是否成功（可能重试后）。

    • 10

  4. 如果我启动太多后台作业会怎样？

    系统将变得缓慢且无响应，最坏的情况是如此无响应，最好只是按下电源按钮并进行硬重启......这将以root身份运行某些东西，它有特权逃脱这样做。如果您的 bash 脚本在常规用户权限下运行，那么首先想到的是/etc/security/limits.conf其中/etc/systemd/system.conf的所有变量 [理想情况下]防止 用户超载系统。

    • cpu = xeon E5649，即12核cpu；因此，您有 12 个内核用于 12 个进程同时运行，每个进程都以 100% 使用 12 个内核中的一个。如果您启动 24 个进程，那么每个进程将在 12 个核心上以 50% 的利用率运行，700 个进程 = 1.7%，但它是一台计算机，只要一切都在适当的时间内正确完成，那么这 = 成功；高效并不总是相关的。

      1. 所有 700 个实例可能同时运行吗？ 当然，700 并不是一个大数目。例如，我的 /etc/security/limits.confmaxproc默认值为 4,135,275

      2. 在我的服务器达到其限制之前，我能走多远？ 我敢肯定，远远超过 700。

      3. 限制......如果脚本在用户帐户下启动 [通常root 以及limits.conf几乎适用于每个人] 会发生什么是脚本将在尝试执行foo &700 次后退出；您会期望看到 700 个foo进程，每个进程都有不同的 pid，但您可能只看到 456（随机数选择），而其他 244 个从未启动，因为它们被某些安全性或 systemd 限制阻止。

    百万美元的问题：你应该同时运行多少？

    参与网络，你说每个人都会做一个 telnet 连接，有根据的猜测是，在你做 cpu 和 ram 限制之前，你会遇到网络限制和开销。但是我不知道您具体在做什么，可能会发生的是您可以一次启动所有 700 个，但是事情会自动阻塞，直到先前的进程和网络连接根据各种系统限制完成并关闭，或者类似前 500 个将启动，然后其余 200 个不会启动，因为系统或内核限制阻止了它。但不管有多少人同时跑，都会有一些甜蜜尽可能快地完成工作……最大限度地减少开销并提高效率。作为 12 个内核（如果有 2 个 cpu，则为 24 个），然后立即从 12 个（或 24 个）开始，然后将并发批次数增加 12 个或 24 个，直到您看不到运行时间的改进。

    提示： google max telnet 连接，看看这如何适用于您的系统。也不要忘记防火墙。还可以快速计算每个进程所需的内存 x 700；确保<可用RAM（在您的情况下约为50gb）否则系统将开始使用SWAP并且基本上变得无响应。因此，一次踢 12、24、N个进程并监视 RAM 空闲，然后增加N已经对正在发生的事情有所了解。

    默认情况下，RHEL 将单个主机的 telnet 连接数限制为 10 个同时会话。这是一项安全功能...设置为 10，/etc/xinetd.conf，更改“per_source”值。

    • 1

相关问题