主页 / unix / 问题 / 517445
Accepted
Just a learner
Asked: 2019-05-07 10:25:46 +0800 CST

wget 从文件列表中下载文件，如何为每个下载的文件指定名称？

  • 772

当下载单个文件时，我们可以使用 wget 的-O选项来指定文件名。当我使用wget -i filelist.txt（filelist.txt 包含我要下载的 URL 列表）下载文件中的 Urls 时，如何构造 filelist.txt 以便在下载每个文件时对其进行重命名？

对于 Ex，如果 filelist.txt 包含以下内容：

--output-document=1.jpg http://images2.example.com/image1.jpg
--output-document=2.jpg http://images2.example.com/image2.jpg

是否可以下载image1.jpg并另存为1.jpg, image2.jpgas 2.jpg？

编辑

我知道我可以使用简单的脚本或文本操作技术来创建多个 wget 命令，每个命令都下载一个 Url 并写入输出文件。我还没有测试过，但这对我来说似乎更慢，我想知道是否有任何方法可以使用单个 wget 进程下载所有文件。

filenames rename

2 个回答

  1. Best Answer

    您不能仅在一次 Wget 调用中做到这一点。这源于 Wget-O选项的定义，它不仅仅意味着保存文件的名称，而是标准输出的 shell 重定向。

    如果服务器上所有文件的名称都不同，那么您仍然可以通过在一次 Wget 调用中下载所有文件然后使用 shell 脚本重命名它们来相当快速地完成此操作。

    你是对的，多次调用 wget 会很慢。进程启动和拆除是一方面，但需要为每个文件与服务器建立新的 HTTP 连接会很快加起来

    • 1

  2. 只需逐行循环文件，将行内容读入变量FOO并将其用作wget参数：

    while read FOO; do echo wget $FOO; done < filelist.txt

    与下载时间相比，用参数构建命令行的这一点时间不会对您造成伤害。对于服务器端，它根本没有区别，如果相同或不同wget的进程对文件进行单个请求，这在两种情况下都完成，那么在我看来，保持活动状态的微小差异不会有太大的不同。

    顺便说一句：wget总是单线程的，没有参数使它成为多线程。也许你应该试一试，看看它到底有多慢，wget为每个 URL 启动一个新进程，而不是使用-i并希望它会更快，这样你就不必猜测它有多慢，而只是看见。
    您也可以启动几个wget进程，类似于在https://stackoverflow.com/questions/7577615/parallel-wget-in-bash/11850469#11850469中看到的类似（只需传递比那里更多的参数），这应该会加快一切，对于小文件。

    如果您仍然需要构建目标文件名列表，您仍然可以在下载后重命名文件（这也不是您真正要求的方式）以实现您的目标。

    • 1

相关问题