主页 / unix / 问题 / 760492
Accepted
Data Engineer
Asked: 2023-11-03 08:15:14 +0800 CST

将文本文件中单行的多个参数传递到终端

  • 772

我有一个 python 程序，需要 2 个参数输入文件和输出文件。它读取输入文件并创建该文件的副本，并在输出文件中进行一些修改。

我创建了一个带有一组参数的文本文件。它在多行上有多组参数。但是对于程序的1次执行，它需要逐行读取。因此每行都有 2 个参数（用空格分隔）要传递：输入文件和输出文件。

带有参数的文件示例（将其称为File-With-Multiple-Arguments-Per-Line.txt）：

input-file-1-path/input-file-1-name.sql output-file-1-path/output-file-1-name.sql 
input-file-2-path/input-file-2-name.sql output-file-2-path/output-file-2-name.sql
input-file-3-path/input-file-3-name.sql output-file-3-path/output-file-3-name.sql
input-file-4-path/input-file-4-name.sql output-file-4-path/output-file-4-name.sql

我试过这个：

for arg in $(< /Users/Repository/File-With-Multiple-Arguments-Per-Line.txt); 
    do python /Users/Git-Repos/MyProgram.py "$arg" "$arg" ;
done.

用法是这样的：python MyProgram.py input-file.txt output-file.txt

我做需要做的事。尽管由于某种原因它处理每个参数 3 次（因此，第一个参数是输入文件也被视为输出文件；与第二个参数相同）。所以我最终修改了输入文件，这是我不应该的。我知道这一点，因为输入和输出文件都是 2 个独立的 git 存储库。

我也只使用了一个"$arg"，但后来我发现我的程序没有收到所需的第二个参数（输出文件）。我看到的不是我的输出文件，output: <stdout> 但是使用"$arg" "$arg"会导致我的程序的错误解释。就好像同一个任务做了 3 次——第一次完成了预期的任务；第二次使用输入文件作为输出和输入；第三次使用输出文件作为输出和输入。

我也尝试了下面的解决方案，但是我的程序没有执行任何操作。尽管它在我的终端中显示输出，就好像它做了应该做的事情一样。并且没有出现错误。

仅供参考：从文件中读取 shell 脚本的多个参数

while read x y; do
    python /Users/Git-Repos/MyProgram.py "$x" "$y"
done < /Users/Repository/File-With-Multiple-Arguments-Per-Line.txt
arguments

2 个回答

  1. Best Answer

    对某个文件的每一行运行命令，并将这些行中的空格分隔的单词作为参数传递给命令，其作用是xargs -L1：

    所以，这只是：

    xargs -L1 <File-With-Multiple-Arguments-Per-Line.txt python MyProgram.py

    正如xargs理解某种形式的引用一样，它可以用于任意文件路径，包括带有空格甚至换行符的文件路径。但请注意，引用语法与现代 ² 的语法不同sh。和'...'都是"..."强引号，不能包含换行符。例如你可以有：

    tamed-input-file tamed-output-file
"Input: it's "'such a "cool" path'  'Output: Not as cool'\
'as one with'\
'newline characters'

    $ xargs -L1 <a printf '1:<%s> 2:<%s>\n'
1:<tamed-input-file> 2:<tamed-output-file>
1:<Input: it's such a "cool" path> 2:<Output: Not as cool
as one with
newline characters>

    请注意，根据xargs实现的不同，pythons stdin 要么以只读方式打开，/dev/null要么与 of 共享xargs（因此也来自File-With-Multiple-Arguments-Per-Line.txt），因此重要的是python不要从其 stdin 读取。通过 GNU 实现xargs，您可以使用：

    xargs -L1 -a File-With-Multiple-Arguments-Per-Line.txt python MyProgram.py

    解决它。

    另请注意，对于 的大多数实现xargs，如果File-With-Multiple-Arguments-Per-Line.txt为空，该命令仍会在不带参数的情况下运行一次。通过一些xargs实现，可以通过该-r选项来避免这种情况。

    关于你的：

    for arg in $(< /Users/Repository/File-With-Multiple-Arguments-Per-Line.txt); 
    do python /Users/Git-Repos/MyProgram.py "$arg" "$arg" ;
done

    首先请注意，除了 in 之外，除了 IFS 分割之外，zsh未加引号的部分还会受到通配符的影响，因此您需要事先避免包含通配符的文件名出现问题。$(<...)set -o noglob

    然后，在循环的每次传递中，您都会得到一个IFS 分隔的（$IFS默认情况下包含空格、制表符和换行符（以及 zsh 中的 NUL））并将同一个单词两次传递给python. 要一次获取两个单词，您需要zsh：

    for file1 file2 in $(<File-With-Multiple-Arguments-Per-Line.txt); do
  python MyProgram.py $file1 $file2
done

    或者在bash中：

    set -o noglob
set -- $(<File-With-Multiple-Arguments-Per-Line.txt)
while (( $# > 0 )); do
  python MyProgram.py $1 $2
  shift "$(( $# < 2 ? $# : 2 ))"
done

    这意味着文件路径不能包含空格、制表符或换行符。

    要执行类似的操作xargs -L1并传递$IFS每行中的所有 - 分隔单词，请执行以下操作zsh：

    while IFS= read -ru3 line; do
  python MyProgram.py $=line 3<&- # $=line for explicit IFS-splitting
done 3< File-With-Multiple-Arguments-Per-Line.txt

    或者：

    while read -ru3 -A files; do
  python MyProgram.py $files 3<&-
done 3< File-With-Multiple-Arguments-Per-Line.txt

    （也可以在ksh93和 中工作，bash除非你需要"${files[@]}"代替$files那里（也可以在 zsh 中工作），而-a不是-A在 bash 中）。

    POSIXly：

    set -o noglob
while IFS= read -r <&3 line; do
  python MyProgram.py $line 3<&- # implicit split+glob with glob disabled above
done 3< File-With-Multiple-Arguments-Per-Line.txt

    这仍然不允许任意文件路径。为了将行分割成能够理解某种形式的引用的单词，就像xargs -L1dos 一样，使用zsh：

    while IFS= read -ru3 line; do
  python MyProgram.py "${(Q@)${(z)line}}" 3<&- # $=line for explicit IFS-splitting
done 3< File-With-Multiple-Arguments-Per-Line.txt

    其中z参数扩展标志执行与zsh语言中相同的标记化，Q删除一层引用，并@在引号内保留空参数（就像"$@"所做的那样）。

    然后你可以使用：

    "Input: it's "'such a "cool" path' $'Output: Not as cool\nas one with\nnewline characters'

    ¹ 只要它们不太长并且通过某些xargs实现，它们就可以在用户区域设置中被解码为有效文本。

    ² 它更接近 Mashey shell（又名 PWB shell，xargs在 70 年代末在 PWB Unix 中引入）。

    • 1

  2. 您似乎正在尝试循环遍历每行都有输入文件名和输出文件名的文件的内容，然后调用将python两个文件名作为参数传递的脚本。

    假设问题不在于python脚本或读取文件的权限或文件的存在，那么while您问题中的示例应该有效。

    但是，这里有一个 using 的替代方案while（这只显示传递给 Python 的参数；但尚未运行它）：

    § cat File-With-Multiple-Arguments-Per-Line.txt | xargs -n 2 echo python 
python input-file-1-path/input-file-1-name.sql output-file-1-path/output-file-1-name.sql
python input-file-2-path/input-file-2-name.sql output-file-2-path/output-file-2-name.sql
python input-file-3-path/input-file-3-name.sql output-file-3-path/output-file-3-name.sql
python input-file-4-path/input-file-4-name.sql output-file-4-path/output-file-4-name.sql

    您可以将该输出通过管道传输到文件，如下所示，然后稍后运行它，这有助于验证您是否正确传递了参数：

    § cat File-With-Multiple-Arguments-Per-Line.txt | xargs -n 2 echo python > script.sh
§ chmod +x ./script.sh
§ ./script.sh

    您还可以通过将脚本通过管道传输到 bash 来执行，直接调用它，如下所示：

    § cat File-With-Multiple-Arguments-Per-Line.txt | xargs -n 2 echo python | bash -
    • 0

相关问题