AskOverflow.Dev

AskOverflow.Dev Logo AskOverflow.Dev Logo

AskOverflow.Dev Navigation

  • 主页
  • 系统&网络
  • Ubuntu
  • Unix
  • DBA
  • Computer
  • Coding
  • LangChain

Mobile menu

Close
  • 主页
  • 系统&网络
    • 最新
    • 热门
    • 标签
  • Ubuntu
    • 最新
    • 热门
    • 标签
  • Unix
    • 最新
    • 标签
  • DBA
    • 最新
    • 标签
  • Computer
    • 最新
    • 标签
  • Coding
    • 最新
    • 标签
主页 / unix / 问题

问题[batch-jobs](unix)

Martin Hope
GhostOrder
Asked: 2020-02-21 17:25:44 +0800 CST

使用 MKVToolNix 批量合并 mkv 视频和字幕

  • 0

对于我知道我可以的一个文件(作为同一目录中的视频和子文件):

mkvmerge -o output-file.mkv --default-track 0 --language 0:es subtitle-file.ass video-file.mkv

但是我怎样才能对 50 个文件做同样的事情。我的视频和字幕文件名相同:

视频-1.mkv
视频-2.mkv
视频-3.mkv
视频-1.ass
视频-2.ass
视频-3.ass

我的输出文件应该是 video-1-sub-mkv、video-2-sub-mkv 等。

batch-jobs mkvtoolnix
  • 1 个回答
  • 650 Views
Martin Hope
PoC
Asked: 2019-12-29 09:59:10 +0800 CST

一次处理一项任务

  • 6

我习惯了具有灵活排队配置可能性的 IBM i (AS/400) 批处理。我正在寻找类似的 Linux 批处理工具。

最重要的是一次从队列中取出一项作业并执行。之后,将扫描队列以查找更多条目。如果有的话,下一个任务将被取出来运行。

at -b相对接近,但如果一个作业占用的资源太少以至于负载保持下降,更多的任务会并行执行,这是不希望的。

Run-p​​arts 将是另一种选择,但它的行为过于静态,并且不会作为守护进程运行以在给定队列中查找新条目。我可以将其作为常规 cron 作业运行,但我需要自己处理要从队列中删除的作业。

我是否必须编写自己的代码或扩展 at 才能实现所需的功能,或者是否有可用的替代批处理排队机制?

batch-jobs
  • 2 个回答
  • 890 Views
Martin Hope
yode
Asked: 2019-11-04 05:13:28 +0800 CST

如何批量启动后台任务?

  • 0

我有这样的文件:

ls

mate30pro5g.py Mathematica.py opencv.py

我知道这个命令可以启动后台任务:

python3 mate30pro5g.py &

现在我想通过这个命令启动多个任务:

ls *.py | xargs -n1 -i python3 {} &

但我发现我只启动了一项后台任务。我错过了什么?


ps:注意我所有的.py文件都有一个无限循环..

batch-jobs
  • 1 个回答
  • 77 Views
Martin Hope
Vas
Asked: 2019-07-28 06:38:50 +0800 CST

单台机器上多个单核作业的类似队列行为?[复制]

  • 2
这个问题在这里已经有了答案:
每批并行处理命令 2 个答案
3年前关闭。

我有一台 24 核的旧 Mac,我想自动运行数百/数千个单核作业。我已经制作了一个在后台运行进程的 bash 脚本,但是如果我设置太多,计算机就会死机(显然 300 可以,400 太多了......)。

理想情况下,我想做的是运行 24,然后当一个完成时,第 25 个,然后当下一个完成时,第 26 个,依此类推。不幸的是,每项工作都可能需要不同的、可变的运行时间,所以我不能做某种计时来让它们在交错的时间运行。

我已经看到了一些“等待”的东西,但我不确定我是否发送了 24,比如说,带有等待命令的 976,它会给我想要的行为,或者它会在第一个之后串联运行 976 24 完成?

编辑:谢谢,这很可能是重复的,但是当我看到该问题的答案仅指向并行时,我可以继续在这里探索如何使用 xargs 吗?

这样做的原因是,有问题的 Mac 目前位于另一个大陆,我绝对需要它在接下来的几天内工作并运行所有这些工作 - 安装某些东西总是有可能弄乱机器,所以我不此时我不想安装并行,而我无法实际使用它。但它在 bash 中有 xargs,所以我正在探索使用它。

到目前为止,我已经重写了我的 bash 脚本,以满足 xargs 和并行预期的情况,我可以使用各种输入来运行它。所以现在,我拥有的是一个 bash 脚本,它在文件夹中的每个文件上运行我的作业。我目前尝试过:

ls -d 我的文件夹/* | xargs -P 2 -L 1 ~/bin/myscript.sh

但这似乎仍然同时运行它们,因此我不确定我做错了什么。(这里我使用最多 2 个,这样我就可以继续查找和测试!我只在文件夹中放了 4 个 - 不想意外发送数百个)

最后编辑:啊哈!!!很久以后我才发现我做错了什么。xargs 可能并行运行我的脚本,但不是我编写脚本运行的程序。我写了一个脚本,因为我无法弄清楚如何将文件名插入到参数列表中,这需要参数=值对。我最终想出了如何使用 xargs 中的 -I 标志来做到这一点。这终于奏效了:

ls -d 我的文件夹/* | xargs -I foo -P 2 -L 1 我的程序 arg1 arg2 arg3=foo arg4

(我认为 -I 和 -L 1 是多余的,但是当它起作用时,我并没有弄乱它……)

在这里, foo 在 myprogram 的参数列表中被替换为每个文件名。我注意到我花了很长时间才弄清楚的一个原因是大多数指令都使用 -I 使用 {} 作为要替换的元素,并且由于某种原因在我的 Mac 上它无法处理。所以我想 - 我没有工作,但它与 foo 一起工作得很好。

batch-jobs macintosh
  • 2 个回答
  • 404 Views

Sidebar

Stats

  • 问题 205573
  • 回答 270741
  • 最佳答案 135370
  • 用户 68524
  • 热门
  • 回答
  • Marko Smith

    模块 i915 可能缺少固件 /lib/firmware/i915/*

    • 3 个回答
  • Marko Smith

    无法获取 jessie backports 存储库

    • 4 个回答
  • Marko Smith

    如何将 GPG 私钥和公钥导出到文件

    • 4 个回答
  • Marko Smith

    我们如何运行存储在变量中的命令?

    • 5 个回答
  • Marko Smith

    如何配置 systemd-resolved 和 systemd-networkd 以使用本地 DNS 服务器来解析本地域和远程 DNS 服务器来解析远程域?

    • 3 个回答
  • Marko Smith

    dist-upgrade 后 Kali Linux 中的 apt-get update 错误 [重复]

    • 2 个回答
  • Marko Smith

    如何从 systemctl 服务日志中查看最新的 x 行

    • 5 个回答
  • Marko Smith

    Nano - 跳转到文件末尾

    • 8 个回答
  • Marko Smith

    grub 错误:你需要先加载内核

    • 4 个回答
  • Marko Smith

    如何下载软件包而不是使用 apt-get 命令安装它?

    • 7 个回答
  • Martin Hope
    user12345 无法获取 jessie backports 存储库 2019-03-27 04:39:28 +0800 CST
  • Martin Hope
    Carl 为什么大多数 systemd 示例都包含 WantedBy=multi-user.target? 2019-03-15 11:49:25 +0800 CST
  • Martin Hope
    rocky 如何将 GPG 私钥和公钥导出到文件 2018-11-16 05:36:15 +0800 CST
  • Martin Hope
    Evan Carroll systemctl 状态显示:“状态:降级” 2018-06-03 18:48:17 +0800 CST
  • Martin Hope
    Tim 我们如何运行存储在变量中的命令? 2018-05-21 04:46:29 +0800 CST
  • Martin Hope
    Ankur S 为什么 /dev/null 是一个文件?为什么它的功能不作为一个简单的程序来实现? 2018-04-17 07:28:04 +0800 CST
  • Martin Hope
    user3191334 如何从 systemctl 服务日志中查看最新的 x 行 2018-02-07 00:14:16 +0800 CST
  • Martin Hope
    Marko Pacak Nano - 跳转到文件末尾 2018-02-01 01:53:03 +0800 CST
  • Martin Hope
    Kidburla 为什么真假这么大? 2018-01-26 12:14:47 +0800 CST
  • Martin Hope
    Christos Baziotis 在一个巨大的(70GB)、一行、文本文件中替换字符串 2017-12-30 06:58:33 +0800 CST

热门标签

linux bash debian shell-script text-processing ubuntu centos shell awk ssh

Explore

  • 主页
  • 问题
    • 最新
    • 热门
  • 标签
  • 帮助

Footer

AskOverflow.Dev

关于我们

  • 关于我们
  • 联系我们

Legal Stuff

  • Privacy Policy

Language

  • Pt
  • Server
  • Unix

© 2023 AskOverflow.DEV All Rights Reserve