主页 / server / 问题 / 516602
Accepted
gordo911
Asked: 2013-06-19 03:39:32 +0800 CST

如何使用 xargs 处理以空格分隔的环境变量

  • 772

我正在尝试并行多次执行长时间运行的过程。每次执行进程的参数都存储在一个以空格分隔的环境变量中。这是我要执行的人为示例：

$ echo -e 1 2 3 4 | xargs --max-procs=3 --max-args=1 --replace=% echo % is the number being processed

这是该命令的输出：

1 2 3 4 is the number being processed

为什么 max-args 似乎被忽略了？然后我尝试显式设置分隔符以提供更好的结果：

$ echo -e 1 2 3 4 | xargs -d " " --max-procs=3 --max-args=1 --replace=% echo % is the number being processed
1 is the number being processed
2 is the number being processed
3 is the number being processed
4
 is the number being processed

xargs 在处理第 4 个参数时在做什么？

经过一番搜索，我确实设法几乎得到了我想要的东西。参数被正确处理，但并行性不起作用（使用此处未显示的另一个命令验证）：

$ echo -e 1 2 3 4 | xargs -n 1 | xargs --max-procs=3 --max-args=1 --replace=% echo % is the number being processed
1 is the number being processed
2 is the number being processed
3 is the number being processed
4 is the number being processed

我错过了什么？

xargs

3 个回答

  1. Best Answer

    做

    echo -e 1 2 3 4 | sed -e 's/\s\+/\n/g' | xargs --max-procs=3 --max-args=1 --replace=% echo % is the number being processed

    完成任务？输出似乎是正确的：

    1 is the number being processed
2 is the number being processed
3 is the number being processed
4 is the number being processed

    我还尝试替换echo为sleep以确认它并行执行，并且确实如此：

    echo -e 1 2 3 4 5 6 7 8 9 9 9 9 9 9 9 9 9 9 9 9 | sed -e 's/\s\+/\n/g' | xargs --max-procs=20 --max-args=1 --replace=% sleep 1
    • 2

  2. AFAIK xargs 的默认输入分隔符是 \r ，因此您必须将其更改为 <space> 并相应地发送输入结尾，如下所示：

    $ echo -n "1 2 3 4 " | xargs -d" " --max-procs=3 --max-args=1 --replace=% echo % is the number being processed
1 is the number being processed
2 is the number being processed
3 is the number being processed
4 is the number being processed
$

    HTH

    • 1

  3. 其他一些方法，也许更简单，也可以使用-n, -max-args：

    echo -n "foo bar baz" | tr ' ' '\n' | xargs -n 1 echo    # With \n, no need for -0
echo -n "foo bar baz" | tr ' ' '\0' | xargs -0 -n 1 echo # Using null character
echo -n "foo bar baz" | xargs -d ' ' -n 1 echo           # Telling to xargs the delimiter
    • 哪里当然echo可以是你想要的任何命令。
    • 另见-L参数和-d '\n'（如果行有空格）。
    • Process win 与 并行--max-procs或可能更好parallel。
    • 0

相关问题