AskOverflow.Dev

AskOverflow.Dev Logo AskOverflow.Dev Logo

AskOverflow.Dev Navigation

  • 主页
  • 系统&网络
  • Ubuntu
  • Unix
  • DBA
  • Computer
  • Coding
  • LangChain

Mobile menu

Close
  • 主页
  • 系统&网络
    • 最新
    • 热门
    • 标签
  • Ubuntu
    • 最新
    • 热门
    • 标签
  • Unix
    • 最新
    • 标签
  • DBA
    • 最新
    • 标签
  • Computer
    • 最新
    • 标签
  • Coding
    • 最新
    • 标签
主页 / unix / 问题 / 516882
Accepted
TR007
TR007
Asked: 2019-05-03 19:13:11 +0800 CST2019-05-03 19:13:11 +0800 CST 2019-05-03 19:13:11 +0800 CST

Shell 并行处理:附加值

  • 772

我试图通过一个简单的示例来了解 shell 脚本中的并行处理以及在输出中确定性地(无随机顺序)顺序附加值。下面是代码片段:

x=""
appendnum() {
    num=$1; x=`echo $x$num`
}
for no in {0..10}
do
    appendnum $no &
done
wait $(jobs -rp)
echo $x

预期的输出是 012345678910,但它会产生一个空值。我什至尝试迭代 PID 以等待它完成,但没有成功。我希望主线程等到每个并行进程完成。附加数字只是一个例子。

我的问题陈述如下所示:考虑到我有 3 个任务,我想要响应列表,例如[responseof(task1),responseof(task2),responseof(task3)]. 任务数最多可达到 50 个。无论任务数如何,我的响应时间都应该相同。这样做的最有效和正确的方法是什么?

shell-script parallelism
  • 3 3 个回答
  • 146 Views

3 个回答

  • Voted
  1. laenkeio
    2019-05-03T23:23:55+08:002019-05-03T23:23:55+08:00

    如果我对您的理解正确,您希望:

    • 并行运行任务,即。理想情况下,确保所有这些都在执行单个任务所需的时间内完成。(这不太现实,但我们可以尽力而为)
    • 保持输出的顺序,即使一些较晚的任务在一些较早的任务之前完成

    考虑到这一点,您可以尝试以下方法:

    parallel -k -j10 'sleep {}; echo -n {}' ::: {10..1}
    

    执行的第一个任务花费的时间最长,但由于我们添加了-k选项,parallel实用程序将保持顺序并最终输出

    10987654321
    

    没有该-k选项,输出将反转,并在命令完成时出现

    12345678910
    

    如果您需要更多信息,请查看教程:https ://www.gnu.org/software/parallel/parallel_tutorial.html

    • 1
  2. Best Answer
    G-Man Says 'Reinstate Monica'
    2019-05-03T21:07:48+08:002019-05-03T21:07:48+08:00

    你缺少的一些东西:

    • Shell 变量存储在 Shell 内存中;即shell进程的内存。
    • 从 shell 运行的大多数命令都在子进程(或多个进程)中运行。唯一的例外是“内置命令”。
    • 异步命令总是在子进程中运行——即使它们不运行任何程序。不运行任何程序的异步命令是仅运行 shell 的子进程。这被称为“子外壳”。
    • 一般来说,进程不能改变其他进程的内存。特别是,子 shell 不能修改主 shell 进程中的变量。因此,当您说 时appendnum $no &,该appendnum函数 无法修改x主 shell 进程中的变量。

    你可以得到类似你试图得到的行为:

    x=TR007.out
    > "$x"
    appendnum() {
        echo "$1" >> "$x"
    }
    for no in {0..10}
    do
        appendnum $no &
    done
    wait
    

    您将获得数字 0 到 10 写入文件TR007.out。

    • 异步进程的调度(排序)是不确定的。因此,在上面的示例脚本中,虽然您会将数字 0 到 10 写入文件,但它们可能不按顺序排列。
    • 您可能知道,wait它本身(不带参数)将等待所有子进程。
    • “不管任务多少,我的响应时间应该是一样的。” 这是一个非常大胆的期望/要求。是否合理取决于上下文。如果任务是单线程计算密集型任务,并且您有三个或更多(逻辑)CPU,那么,是的,可以合理地预期三个任务并行运行所花费的时间比一个任务本身多一点。但是,如果您有四个逻辑 CPU,期望在运行一个任务所需的相同时间内运行 50 个任务是完全不合理的。
    • 我提到子(异步)进程以预期的顺序运行。由于它们同时运行(即并行),它们的执行可能会重叠。所以,如果我们把上面的脚本改成
      附加编号(){
          回声“$1”a >>“$x”
          回声“$1”b >>“$x”
      }
      {1..3} 中没有
      做
          附加编号 $no &
      完毕
      那么你可能会在文件中得到1a/ 1b/ 2a/ 2b/ 3a/ 3b——或者你可能会得到2a/ 2b/ 1a/ 1b/ 3a/ 3b,或者你可能会得到2a/ 1a/ 2b/ 3a/ 3b/ 1b,或者更糟。让异步进程写入同一个文件是一个坏主意。

    你可能应该做类似的事情

    {1..3} 中没有
    做
        任务“$no” > 文件“$no” &
    完毕
    等待
    cat 文件 1 文件 2 文件 3 > 组合结果
    其他注意事项:

    • $(command)做同样的事情。你应该坚持使用表格。`command`$(command)
    • 说or没有意义。就说吧。x=`echo $x$num`x=$(echo $x$num)x="$x$num"
    • 你应该总是引用 shell 变量,除非你有充分的理由不这样做,并且你确定你知道你在做什么。所以不要这样做appendnum $no;做appendnum "$no"等
    • 0
  3. Ole Tange
    2019-05-30T13:49:24+08:002019-05-30T13:49:24+08:00

    [响应(任务1),响应(任务2),响应(任务3)]

    parset是为此而建的:

    parset result responseof ::: task1 task2 task3
    echo "${result[1]}"
    

    例如:

    parset res seq ::: 3 2 1
    echo "${res[1]}"
    

    parset是 GNU 并行的一部分。

    • 0

相关问题

  • 在awk中的两行之间减去相同的列

  • 打印文件行及其长度的脚本[关闭]

  • 通过命令的标准输出以编程方式导出环境变量[重复]

  • 按分隔符拆分并连接字符串问题

  • MySQL Select with function IN () with bash array

Sidebar

Stats

  • 问题 205573
  • 回答 270741
  • 最佳答案 135370
  • 用户 68524
  • 热门
  • 回答
  • Marko Smith

    模块 i915 可能缺少固件 /lib/firmware/i915/*

    • 3 个回答
  • Marko Smith

    无法获取 jessie backports 存储库

    • 4 个回答
  • Marko Smith

    如何将 GPG 私钥和公钥导出到文件

    • 4 个回答
  • Marko Smith

    我们如何运行存储在变量中的命令?

    • 5 个回答
  • Marko Smith

    如何配置 systemd-resolved 和 systemd-networkd 以使用本地 DNS 服务器来解析本地域和远程 DNS 服务器来解析远程域?

    • 3 个回答
  • Marko Smith

    dist-upgrade 后 Kali Linux 中的 apt-get update 错误 [重复]

    • 2 个回答
  • Marko Smith

    如何从 systemctl 服务日志中查看最新的 x 行

    • 5 个回答
  • Marko Smith

    Nano - 跳转到文件末尾

    • 8 个回答
  • Marko Smith

    grub 错误:你需要先加载内核

    • 4 个回答
  • Marko Smith

    如何下载软件包而不是使用 apt-get 命令安装它?

    • 7 个回答
  • Martin Hope
    user12345 无法获取 jessie backports 存储库 2019-03-27 04:39:28 +0800 CST
  • Martin Hope
    Carl 为什么大多数 systemd 示例都包含 WantedBy=multi-user.target? 2019-03-15 11:49:25 +0800 CST
  • Martin Hope
    rocky 如何将 GPG 私钥和公钥导出到文件 2018-11-16 05:36:15 +0800 CST
  • Martin Hope
    Evan Carroll systemctl 状态显示:“状态:降级” 2018-06-03 18:48:17 +0800 CST
  • Martin Hope
    Tim 我们如何运行存储在变量中的命令? 2018-05-21 04:46:29 +0800 CST
  • Martin Hope
    Ankur S 为什么 /dev/null 是一个文件?为什么它的功能不作为一个简单的程序来实现? 2018-04-17 07:28:04 +0800 CST
  • Martin Hope
    user3191334 如何从 systemctl 服务日志中查看最新的 x 行 2018-02-07 00:14:16 +0800 CST
  • Martin Hope
    Marko Pacak Nano - 跳转到文件末尾 2018-02-01 01:53:03 +0800 CST
  • Martin Hope
    Kidburla 为什么真假这么大? 2018-01-26 12:14:47 +0800 CST
  • Martin Hope
    Christos Baziotis 在一个巨大的(70GB)、一行、文本文件中替换字符串 2017-12-30 06:58:33 +0800 CST

热门标签

linux bash debian shell-script text-processing ubuntu centos shell awk ssh

Explore

  • 主页
  • 问题
    • 最新
    • 热门
  • 标签
  • 帮助

Footer

AskOverflow.Dev

关于我们

  • 关于我们
  • 联系我们

Legal Stuff

  • Privacy Policy

Language

  • Pt
  • Server
  • Unix

© 2023 AskOverflow.DEV All Rights Reserve