主页 / user-324713

user3285148's questions

Martin Hope
user3285148
Asked: 2018-12-12 04:30:56 +0800 CST
  • 0

我需要修复以下代码。该代码旨在确定给定节点中可用的核心数。

第 1 步：获取核心数

TC=$(grep -c process /proc/cpuinfo)

第 2 步：计算正常运行时间，忽略小数

LA=$(uptime | cut -d ' ' -f 13 | head -c 1)

第 3 步$LA：从中减去$TC以获取我可以运行的进程数

procs=$(expr $TC - $LA)

我的问题是第 2 步：当我输入时uptime | cut -d ' ' -f 13 | head -c 1，我得到了a。这意味着什么？第2步有错误吗？

让我补充一点，如果我简单地输入，uptime我会得到

 23:17:01 up 38 days, 38 min,  8 users,  load average: 0.00, 0.00, 0.00
cpu scripting
Martin Hope
user3285148
Asked: 2018-12-08 04:55:49 +0800 CST
  • 5

我想解决以下有关提交已并行化到特定节点的作业的问题。

让我从解释我的问题的结构开始

我有两个非常简单的 Matlab 脚本

1) 主.m

clear
rng default
P=2;
grid=randn(4,3);
jobs=1;

2) 调频

sgetasknum_grid=grid(jobs*(str2double(getenv('SGE_TASK_ID'))-1)+1: str2double(getenv('SGE_TASK_ID'))*jobs,:); %jobsx3

result=sgetasknum_grid+1; 

filename = sprintf('result.%d.mat', ID);
save(filename, 'result')

exit

我想做的是：

  • 运行 main.m;

  • 然后，运行 fm 4 次，每次允许并行执行2 个任务

  • 一切都应该在节点A上执行

这是我实施上述步骤的方法

1）我保存main.m并f.m进入一个名为My_folder

2）我如下创建脚本td.sh并将其保存到文件夹中My_folder

#!/bin/bash -l
#$ -S /bin/bash
#$ -l h_vmem=5G
#$ -l tmem=5G
#$ -l h_rt=480:0:0
#$ -cwd
#$ -j y


#$ -N try

date
hostname

J=4 #number tasks

N=2 #number tasks executed in parallel

export SGE_TASK_ID


SGE_TASK_ID=1
n=0
while [ "$SGE_TASK_ID" -le "$J" ]; do
    if [ "$n" -eq "$N" ]; then
        wait -n  # as soon as one task is done, refill it with another
        n=$(( n - 1 ))
    fi

    printf 'Task ID is %d\n' "$SGE_TASK_ID"

    /share/.../matlab -nodisplay -nodesktop -nojvm -nosplash -r "main; ID=$SGE_TASK_ID; f; exit" &

    SGE_TASK_ID=$(( SGE_TASK_ID + 1 ))
    n=$(( n + 1 ))
done

wait

3)我进入终端并输入ssh username@A, 然后cd /.../My_folder, 然后bash td.sh

问题：我收到以下错误

td.sh: line 26: wait: -n: invalid option
wait: usage: wait [id]

正如在下面的评论中所注意到的，问题是@A 上的 bash 版本是旧的（-n 选项已添加到 4.3 中的 wait 内置）并且系统管理员无法更新它。可能的最新版本是 bash 4.1。

因此，您能建议一种替换方法wait -n吗？

bash shell
Martin Hope
user3285148
Asked: 2018-12-08 02:36:41 +0800 CST
  • 1

我想在下面的 bash 脚本中并行化 for 循环。

我有两个 Matlab 脚本

1) 主.m

clear
rng default
P=2;
grid=randn(2,3);
jobs=1;

2) 调频

sgetasknum_grid=grid(jobs*(str2double(getenv('SGE_TASK_ID'))-1)+1: str2double(getenv('SGE_TASK_ID'))*jobs,:); %jobsx3

result=sgetasknum_grid+1; 

filename = sprintf('result.%d.mat', ID);
save(filename, 'result')

exit

我想做的事：

  • 我想运行 main.m；

  • 然后，我想并行运行两次 fm

  • 一切都应该在节点A上执行

这是我没有并行化的版本

1)我将 main.m 和 fm 保存到名为 My_folder 的文件夹中

2)我如下创建 bash 文件 td.sh 并将其保存到文件夹 My_folder

    #$ -S /bin/bash
    #$ -l h_vmem=5G
    #$ -l tmem=5G
    #$ -l h_rt=480:0:0
    #$ -cwd
    #$ -j y


    #$ -N try

    date
    hostname

    export SGE_TASK_ID

    for SGE_TASK_ID in {1..2}
do
    #Output the Task ID
    echo "Task ID is $SGE_TASK_ID"

  /share/.../matlab -nodisplay -nodesktop -nojvm -nosplash -r "main; ID=$SGE_TASK_ID; f; exit"
done

3)我进入终端并输入ssh username@A, 然后cd /.../My_folder, 然后bash td.sh

为了并行化，本论坛中的许多答案建议使用parallel. 我猜 bash 文件看起来像下面这样

#$ -S /bin/bash
#$ -l h_vmem=5G
#$ -l tmem=5G
#$ -l h_rt=480:0:0
#$ -cwd
#$ -j y


#$ -N try

date
hostname

export SGE_TASK_ID

SGE_TASK_ID={1..2}

echo "$SGE_TASK_ID" | parallel -P 2 /share/.../matlab -nodisplay -nodesktop -nojvm -nosplash -r "main; ID=$SGE_TASK_ID; f; exit"

但是，这是我在终端上遇到的错误

A.local
td.sh: line 16: parallel: command not found

我了解可能是parallel机器中缺少“软件”。我可以安装它吗？如果可以，如何安装？还是应该由系统管理员安装？或者，您有其他建议parallel吗？

更新：尝试实现下面第二个答案的脚本

#!/bin/bash -l
#$ -S /bin/bash
#$ -l h_vmem=5G
#$ -l tmem=5G
#$ -l h_rt=480:0:0
#$ -cwd
#$ -j y


#$ -N try

date
hostname

export SGE_TASK_ID

SGE_TASK_ID={1..2}

echo -e SGE_TASK_ID | xargs -I {} -P 4 /share/.../matlab -nodisplay -nodesktop -nojvm -nosplash  -r "main; ID={}; f; exit"

这是我得到的错误信息

Undefined function or variable 'SGE_TASK_ID'.
bash parallelism