AskOverflow.Dev

AskOverflow.Dev Logo AskOverflow.Dev Logo

AskOverflow.Dev Navigation

  • 主页
  • 系统&网络
  • Ubuntu
  • Unix
  • DBA
  • Computer
  • Coding
  • LangChain

Mobile menu

Close
  • 主页
  • 系统&网络
    • 最新
    • 热门
    • 标签
  • Ubuntu
    • 最新
    • 热门
    • 标签
  • Unix
    • 最新
    • 标签
  • DBA
    • 最新
    • 标签
  • Computer
    • 最新
    • 标签
  • Coding
    • 最新
    • 标签
主页 / unix / 问题 / 486553
Accepted
user3285148
user3285148
Asked: 2018-12-08 02:36:41 +0800 CST2018-12-08 02:36:41 +0800 CST 2018-12-08 02:36:41 +0800 CST

在 bash 文件中并行化 for 循环

  • 772

我想在下面的 bash 脚本中并行化 for 循环。


我有两个 Matlab 脚本

1) 主.m

clear
rng default
P=2;
grid=randn(2,3);
jobs=1;

2) 调频

sgetasknum_grid=grid(jobs*(str2double(getenv('SGE_TASK_ID'))-1)+1: str2double(getenv('SGE_TASK_ID'))*jobs,:); %jobsx3

result=sgetasknum_grid+1; 

filename = sprintf('result.%d.mat', ID);
save(filename, 'result')

exit

我想做的事:

  • 我想运行 main.m;

  • 然后,我想并行运行两次 fm

  • 一切都应该在节点A上执行


这是我没有并行化的版本

1)我将 main.m 和 fm 保存到名为 My_folder 的文件夹中

2)我如下创建 bash 文件 td.sh 并将其保存到文件夹 My_folder

    #$ -S /bin/bash
    #$ -l h_vmem=5G
    #$ -l tmem=5G
    #$ -l h_rt=480:0:0
    #$ -cwd
    #$ -j y


    #$ -N try

    date
    hostname

    export SGE_TASK_ID

    for SGE_TASK_ID in {1..2}
do
    #Output the Task ID
    echo "Task ID is $SGE_TASK_ID"

  /share/.../matlab -nodisplay -nodesktop -nojvm -nosplash -r "main; ID=$SGE_TASK_ID; f; exit"
done

3)我进入终端并输入ssh username@A, 然后cd /.../My_folder, 然后bash td.sh


为了并行化,本论坛中的许多答案建议使用parallel. 我猜 bash 文件看起来像下面这样

#$ -S /bin/bash
#$ -l h_vmem=5G
#$ -l tmem=5G
#$ -l h_rt=480:0:0
#$ -cwd
#$ -j y


#$ -N try

date
hostname

export SGE_TASK_ID

SGE_TASK_ID={1..2}

echo "$SGE_TASK_ID" | parallel -P 2 /share/.../matlab -nodisplay -nodesktop -nojvm -nosplash -r "main; ID=$SGE_TASK_ID; f; exit"

但是,这是我在终端上遇到的错误

A.local
td.sh: line 16: parallel: command not found

我了解可能是parallel机器中缺少“软件”。我可以安装它吗?如果可以,如何安装?还是应该由系统管理员安装?或者,您有其他建议parallel吗?


更新:尝试实现下面第二个答案的脚本

#!/bin/bash -l
#$ -S /bin/bash
#$ -l h_vmem=5G
#$ -l tmem=5G
#$ -l h_rt=480:0:0
#$ -cwd
#$ -j y


#$ -N try

date
hostname

export SGE_TASK_ID

SGE_TASK_ID={1..2}

echo -e SGE_TASK_ID | xargs -I {} -P 4 /share/.../matlab -nodisplay -nodesktop -nojvm -nosplash  -r "main; ID={}; f; exit"

这是我得到的错误信息

Undefined function or variable 'SGE_TASK_ID'.
bash parallelism
  • 2 2 个回答
  • 4795 Views

2 个回答

  • Voted
  1. Best Answer
    Kusalananda
    2018-12-08T02:43:57+08:002018-12-08T02:43:57+08:00

    在您的循环中,在后台启动 Matlab 作业,然后等待它们在循环后完成:

    for SGE_TASK_ID in 1 2; do
        printf 'Task ID is %d\n' "$SGE_TASK_ID"
    
        /share/.../matlab -nodisplay -nodesktop -nojvm -nosplash \
            -r "main; ID=$SGE_TASK_ID; f; exit" &
    done
    
    wait
    

    Matlab 作业将快速连续启动并同时运行。waitafter 循环确保脚本在所有后台作业完成之前不会退出。

    对于J允许您N并行运行作业的作业:

    SGE_TASK_ID=1
    n=0
    while [ "$SGE_TASK_ID" -le "$J" ]; do
        if [ "$n" -eq "$N" ]; then
            wait  # waits for the N started jobs to finish
            n=0
        fi
    
        printf 'Task ID is %d\n' "$SGE_TASK_ID"
    
        /share/.../matlab -nodisplay -nodesktop -nojvm -nosplash \
            -r "main; ID=$SGE_TASK_ID; f; exit" &
    
        SGE_TASK_ID=$(( SGE_TASK_ID + 1 ))
        n=$(( n + 1 ))
    done
    
    wait
    

    另一种变体是等待单个后台作业在循环的if-statement 内完成,wait -n并且仅减少n1 而不是将其设置为零。

    • 2
  2. user1133275
    2018-12-08T05:14:05+08:002018-12-08T05:14:05+08:00

    稍微清洁的解决方案;

    echo -e "1\n2" | xargs -I {} -P $(nproc) /share/.../matlab -nodisplay -nodesktop -nojvm -nosplash  -r "main; ID={}; f; exit"
    

    如果您有超过 2 个任务

    • 1

相关问题

  • 通过命令的标准输出以编程方式导出环境变量[重复]

  • 从文本文件传递变量的奇怪问题

  • 虽然行读取保持转义空间?

  • `tee` 和 `bash` 进程替换顺序

  • 运行一个非常慢的脚本直到它成功

Sidebar

Stats

  • 问题 205573
  • 回答 270741
  • 最佳答案 135370
  • 用户 68524
  • 热门
  • 回答
  • Marko Smith

    如何将 GPG 私钥和公钥导出到文件

    • 4 个回答
  • Marko Smith

    ssh 无法协商:“找不到匹配的密码”,正在拒绝 cbc

    • 4 个回答
  • Marko Smith

    我们如何运行存储在变量中的命令?

    • 5 个回答
  • Marko Smith

    如何配置 systemd-resolved 和 systemd-networkd 以使用本地 DNS 服务器来解析本地域和远程 DNS 服务器来解析远程域?

    • 3 个回答
  • Marko Smith

    如何卸载内核模块“nvidia-drm”?

    • 13 个回答
  • Marko Smith

    dist-upgrade 后 Kali Linux 中的 apt-get update 错误 [重复]

    • 2 个回答
  • Marko Smith

    如何从 systemctl 服务日志中查看最新的 x 行

    • 5 个回答
  • Marko Smith

    Nano - 跳转到文件末尾

    • 8 个回答
  • Marko Smith

    grub 错误:你需要先加载内核

    • 4 个回答
  • Marko Smith

    如何下载软件包而不是使用 apt-get 命令安装它?

    • 7 个回答
  • Martin Hope
    rocky 如何将 GPG 私钥和公钥导出到文件 2018-11-16 05:36:15 +0800 CST
  • Martin Hope
    Wong Jia Hau ssh-add 返回:“连接代理时出错:没有这样的文件或目录” 2018-08-24 23:28:13 +0800 CST
  • Martin Hope
    Evan Carroll systemctl 状态显示:“状态:降级” 2018-06-03 18:48:17 +0800 CST
  • Martin Hope
    Tim 我们如何运行存储在变量中的命令? 2018-05-21 04:46:29 +0800 CST
  • Martin Hope
    Ankur S 为什么 /dev/null 是一个文件?为什么它的功能不作为一个简单的程序来实现? 2018-04-17 07:28:04 +0800 CST
  • Martin Hope
    user3191334 如何从 systemctl 服务日志中查看最新的 x 行 2018-02-07 00:14:16 +0800 CST
  • Martin Hope
    Marko Pacak Nano - 跳转到文件末尾 2018-02-01 01:53:03 +0800 CST
  • Martin Hope
    Kidburla 为什么真假这么大? 2018-01-26 12:14:47 +0800 CST
  • Martin Hope
    Christos Baziotis 在一个巨大的(70GB)、一行、文本文件中替换字符串 2017-12-30 06:58:33 +0800 CST
  • Martin Hope
    Bagas Sanjaya 为什么 Linux 使用 LF 作为换行符? 2017-12-20 05:48:21 +0800 CST

热门标签

linux bash debian shell-script text-processing ubuntu centos shell awk ssh

Explore

  • 主页
  • 问题
    • 最新
    • 热门
  • 标签
  • 帮助

Footer

AskOverflow.Dev

关于我们

  • 关于我们
  • 联系我们

Legal Stuff

  • Privacy Policy

Language

  • Pt
  • Server
  • Unix

© 2023 AskOverflow.DEV All Rights Reserve