主页 / ubuntu / 问题 / 1039380
Accepted
F. Emmerich
Asked: 2018-05-24 03:15:45 +0800 CST

使用模式在 shell 脚本中 wget

  • 772

所以我目前正在尝试使用 wget 设置一个 shell 脚本来从服务器下载大量文件。我正在使用 -A 'pattern*.extension' 选项仅下载具有我感兴趣的特定模式和扩展名的文件。（此外，有很多文件我不想在我的 PC 上浪费空间.) 如果我通过命令行执行 wget，一切正常，它会下载与模式匹配的所有文件。现在，如果我尝试使用与以前完全相同的 wget 命令运行脚本，它会突然显示：“wget: No match”。（我应该提到，shell 脚本是由一个 python 脚本执行的，该脚本提供了一个 ID 列表，用于从特定子文件夹下载文件。）但是：如果我打印 shell 脚本执行的确切 wget 行并将其复制并粘贴到命令中线，它再次起作用。这对我来说毫无意义。

这是我的 wget 的外观：

wget -r -c -nH -np -nd -e robots=off -P PATH -A 'pattern*.extension' -a logfile.log --progress=bar:force --no-check-certificate  https://.../ID/

这是我的 shell 脚本原则上的样子：

#!/usr/bin/tcsh
set ID=$1  #just an ID for subfolders
set OPT2=$3  #additional options that can be passed to wget
set OPT="-r -c -nH -np -nd -e robots=off -P PATH/$ID -A 'pattern*.extension' -a $ID.log"
set OOP="--progress=bar:force --no-check-certificate" 
while ($1 != '')    
     echo "wget $OPT $OOP $OPT2 https://.../$ID/"
     wget $OPT $OOP $OPT2 https://.../$ID/
 shift
end

然后输出如下：

wget -r -c -nH -np -nd -e robots=off -P PATH/ID -A 'pattern*.extension'  -a ID.log --progress=bar:force --no-check-certificate https://.../ID/
wget: No match.

但是现在，如果我复制我的脚本回显的那一行，它就可以工作了！请赐教。我一直在努力解决这个问题，但显然，我无法做到这一点。

另外：如果我将 -A 'pattern*.extension' 替换为 -A.extensions，它会下载所有具有该扩展名的文件。由于某种原因，它在使用模式时不起作用。

正如我上面提到的，shell 脚本由 python 脚本调用：

for ID in IDs:
    cmd = 'csh PATH/script.csh %s' % (ID)
    sub.call( cmd, shell=True )

也许这也有帮助，也许我还应该提到我并不是一个真正的高级程序员。

提前致谢。

scripts command-line wget tcsh

1 个回答

  1. Best Answer

    我对 tcsh 不熟悉，所以在 tcsh 中可能有一个很好的解决方案。

    也就是说，我熟悉 bash，并且可以看到可能导致此问题的原因。注意这里的引用：

    set OPT="-r -c -nH -np -nd -e robots=off -P PATH/$ID -A 'pattern*.extension' -a $ID.log"

    有一个外层引号，另外还有一个内层引号pattern*.expansion。大概您正在使用内层，因为如果您实际在 shell 中键入命令，这就是您的样子。

    它的工作方式是，shell 在命令行上执行各种扩展，如变量扩展、通配符扩展等。所以在如下命令中：

    wget $OPT ...

    shell 将扩展$OPT其内容，执行字段拆分，将内容分离$OPT为单独的单词，以及通配符扩展（或通配符），这是命令失败的地方：

    > set foo="'*'"
> echo $foo
echo: No match.
> echo "$foo"
'*'

    注意周围的引号如何$foo防止错误？但是您不能在脚本中使用引号，因为引号也会阻止字段拆分，并且您依赖于字段拆分，以便$OPT( -r,-c等) 中的各种选项作为单独的参数传递给wget.

    这是带和不带引号的差异演示：

    > printf "|%s|\n" "$OPT"
|-r -c -nH -np -nd -e robots=off -P PATH/foo -A 'pattern*.extension' -a foo.log|
> printf "|%s|\n" $OPT
printf: No match.
> printf "|%s|\n" -r -c -nH -np -nd -e robots=off -P PATH/$ID -A 'pattern*.extension' -a $ID.log
|-r|
|-c|
|-nH|
|-np|
|-nd|
|-e|
|robots=off|
|-P|
|PATH/foo|
|-A|
|pattern*.extension|
|-a|
|foo.log|

    我想如果你使用这可能会起作用：

    set OPT="-r -c -nH -np -nd -e robots=off -P PATH/$ID -A pattern*.extension -a $ID.log"

    但是，如果您不使用"$OPT"，则存在通配符扩展的风险，并且工作目录具有匹配的文件pattern*.extension：

    > touch pattern-abc.extension
> printf "|%s|\n" $OPT
printf: No match.
> set set OPT="-r -c -nH -np -nd -e robots=off -P PATH/$ID -A pattern*.extension -a $ID.log"
> printf "|%s|\n" $OPT
|-r|
|-c|
|-nH|
|-np|
|-nd|
|-e|
|robots=off|
|-P|
|PATH/foo|
|-A|
|pattern-abc.extension|      <---- tcsh expanded pattern*.extension
|-a|
|foo.log|

    同样，我在 tcsh 方面不够熟练，无法提出一个好的解决方案，但我确实知道 bash 中有一个不错的解决方案：

    使用数组构建命令行。

    在 bash 中，您的脚本如下所示：

    #!/bin/bash
ID=$1  #just an ID for subfolders
shift

OPT2=("$@")  #additional options that can be passed to wget
OPT=(-r -c -nH -np -nd -e robots=off -P PATH/"$ID" -A 'pattern*.extension' -a "$ID".log)
OOP=(--progress=bar:force --no-check-certificate)

echo wget "${OPT[@]}" "${OOP[@]}" "${OPT2[@]}" "https://.../$ID/"
wget "${OPT[@]}" "${OOP[@]}" "${OPT2[@]}" "https://.../$ID/"

    我在这里做了一些改变。您已分配$3给OPT2，但随后遍历所有参数（实际上，这就是while ($1 != '') ... shift将要做的），但没有在循环中使用这些参数，这没有意义 - 脚本的第二个参数被有效地忽略，但第三个参数用作选项。鉴于 Python 代码片段，我将假设只有第一个参数是 ID，其余的都是wget.

    现在，使用这样的数组：

    OPT=(-r -c -nH -np -nd -e robots=off -P PATH/"$ID" -A 'pattern*.extension' -a "$ID".log)

    允许我们扩展到数组中的每个单独的单词，同时不冒字段拆分或文件名生成的风险，"${OPT[@]}"在 bash 中使用：

    $ printf "|%s|\n" "${OPT[@]}"
|-r|
|-c|
|-nH|
|-np|
|-nd|
|-e|
|robots=off|
|-P|
|PATH/foo|
|-A|
|pattern*.extension|
|-a|
|foo.log|

    每一个论点都保存完好。

    • 1

相关问题