我有一个 txt 文件 list.txt 有一堆 url，每行一个。我想设置一个 cron 作业，每天一次 wget/curl 文件的每个 url，但不将它们保存在计算机中。
我尝试先在终端上运行它。
wget -i /root/list.txt -O /dev/null
该命令无法理解。它将 list.txt 保存到 /dev/null，而不是 list.txt 中 url 中的文件。然后它说“找不到网址”。
那么我该如何正确地做到这一点呢？从列表中获取每个 url 但不在计算机上保存任何内容？
我需要定期从 ftp 服务器中提取文件，并且发现我可以使用 wget 轻松获取文件
wget -m --user=yyy --password=xxxx ftps://host.com.au
这真的很好用。问题是，它显然将文件留在了远程服务器上，下次我运行脚本时，它会再次获取它们。
我看到 wget 有一个 --delete-after 标志，乍一看似乎很理想，但是，正如手册页所说，它只删除本地文件而不是远程文件。
有没有办法达到这个目的？不幸的是，它需要通过 ftp，因为我没有对远程服务器的 shell 访问或 rsync 访问。我应该看wget以外的东西吗？
当我执行这个
wget -O /root/installer.php https://www.grscripts.com/install/installer.deluxe
我收到此错误
ERROR: cannot verify https://www.grscripts.com's/ certificate, issued by ‘/C=US/O=Let's Encrypt/CN=R3’: Issued certificate has expired.
但这不是真的，确实 http://www.grscripts.com's/ 证书没问题，将于 2022 年 2 月到期。为什么 wget 无法获得正确的证书以及如何修复它？
请注意，我知道我可以跳过 --no-check-certificate 的问题，我会知道为什么 wget 报告证书已过期而未过期。
我正在尝试将此日历： https : //bushnellbeacons.com/calendar.ics 加载到另一个内部网络系统。日历提要很好 - 我可以单击上面的链接并下载提要。问题是其他站点给出了一般错误“找不到源”。
做一些调查，如果我在浏览器中下载 ICS 文件，然后将其上传到另一个网络服务器，我可以将该 URL 添加到目标日历系统。我的工作理论是，服务器一在浏览器请求时生成 ICS 文件，但服务器二正试图抓取尚未生成的文件。这个问题与目标日历系统/服务器和故障排除无关。
我现在提出的解决方案是定期在服务器 2 上的 cron 脚本中使用 wget 来获取文件。不幸的是， wget 产生：
HTTP request sent, awaiting response... 404 Not Found
2021-11-01 17:13:20 ERROR 404: Not Found.
有趣的是，PowerShell 可以执行 Invoke-WebRequest https://bushnellbeacons.com/calendar.ics并返回类似于日历提要的内容：
StatusCode : 200
StatusDescription : OK
Content : BEGIN:VCALENDAR
VERSION:2.0
PRODID:-//SIDEARM Sports//NONSGML SIDEARM//EN
X-WR-CALNAME: Athletics
X-PUBLISHED-TTL:PT120M
BEGIN:VEVENT
UID:vcal_4644-bushnellbeacons.com
DTSTAMP:20211102T001441Z...
RawContent : HTTP/1.1 200 OK
Strict-Transport-Security: max-age=0;
X-Content-Type-Options: nosniff
X-XSS-Protection: 1; mode=block
Referrer-Policy: no-referrer-when-downgrade
Content-Length: 113757
Cache-Con...
Forms : {}
Headers : {[Strict-Transport-Security, max-age=0;], [X-Content-Type-Options, nosniff], [X-XSS-Protection, 1;
mode=block], [Referrer-Policy, no-referrer-when-downgrade]...}
Images : {}
InputFields : {}
Links : {}
ParsedHtml : mshtml.HTMLDocumentClass
RawContentLength : 113757
我的问题是：
谢谢！我很乐意根据需要进行澄清。
我想从另一台服务器下载文件，然后将其保存到 /dev/null 以增加第一台服务器的每月流量。
如前所述man axel，我应该使用-o fileor --output=file，但这是问题所在：
axel -an16 -o /dev/null http://ip/file
当我运行它并且仅当我想将输出文件保存到null文件时，我收到此错误：
File size: 4294967296 bytes
No state file, cannot resume!
但是当我忽略-o /dev/null它存在时，它会工作并开始下载。此外，当我使用-o一些不存在的不同名称时，它工作正常。虽然我可以wget -O /dev/null毫无问题地使用。
我google了一下，似乎是axel命令错误，但尚未解决。
我的命令正确吗？或者我在这里做错了什么？如果这是正确的方法，或者我应该使用wget命令甚至其他方式，请您帮助我吗？
我试图强制wget破坏下载，但我无法使用手册页中的内容来完成它。我想要比写入和重定向 STDOUT 更干净的东西。有人有小费吗？
我知道我可以用curl这个；我真的只是在寻找wget解决方案。
这个问题看起来像171369的副本——但那里接受的答案不起作用。这可能是由于问题的年龄；这个问题已有 9 年多的历史了，我认为wget自从被问及回答以来可能已经改变了。
对于它的价值，这是wget我正在使用的机器的构建信息：
-sh-4.2$ wget --version
GNU Wget 1.14 built on linux-gnu.
+digest +https +ipv6 +iri +large-file +nls +ntlm +opie +ssl/openssl
Wgetrc:
/etc/wgetrc (system)
Locale: /usr/share/locale
Compile: gcc -DHAVE_CONFIG_H -DSYSTEM_WGETRC="/etc/wgetrc"
-DLOCALEDIR="/usr/share/locale" -I. -I../lib -I../lib -O2 -g -pipe
-Wall -Wp,-D_FORTIFY_SOURCE=2 -fexceptions -fstack-protector-strong
--param=ssp-buffer-size=4 -grecord-gcc-switches -m64 -mtune=generic
Link: gcc -O2 -g -pipe -Wall -Wp,-D_FORTIFY_SOURCE=2 -fexceptions
-fstack-protector-strong --param=ssp-buffer-size=4
-grecord-gcc-switches -m64 -mtune=generic -lssl -lcrypto
/usr/lib64/libssl.so /usr/lib64/libcrypto.so /usr/lib64/libz.so
-ldl -lz -lz -lidn -luuid -lpcre ftp-opie.o openssl.o http-ntlm.o
../lib/libgnu.a
谢谢！
我想用 wget 下载这个站点，为此我使用以下命令：
wget.exe --no-clobber --no-parent -r --convert-links --page-requisites -U Mozilla "http://www.s-manuals.com/smd/"
这对我来说没问题，但链接的 PDF 文件位于我的 URL 示例同一级别的文件夹中：
http://www.s-manuals.com/pdf/datasheet/a/f/afn3400_alpha-mos.pdf
所以我也需要下载/pdf/文件夹。问题是，如果它在同一级别的目录中，--no-parent选项会避免这个目录，但是如果我删除--no-parent整个站点将被下载，所以我想知道是否有一个选项允许我只下载这 2 个文件夹?
我在服务器上有一个 cron 作业，每天一次用于wget从 NASA 服务器下载“地球方位参数”和闰秒数据。具体来说：
wget https://gemini.gsfc.nasa.gov/500/oper/solve_apriori_files/usno_finals.erp -O .eops
wget https://gemini.gsfc.nasa.gov/500/oper/solve_apriori_files/ut1ls.dat -O .ut1ls
这工作正常。但是，似乎当服务器不可用时，wget会破坏我的本地文件（文件大小为 0）。wget如果服务器不可用并保持本地文件不受影响，是否有任何方法告诉中止。（这些文件包含几个月的预测，因此在服务器恢复之前几天错过更新不是问题）。
我想将备份存档从一台服务器下载到另一台服务器。服务器有一个提供最新备份存档的脚本，该文件具有每个日期的特定名称。我希望 wget 保留该名称。
当我运行时：
wget -q --content-disposition 'http://server.example.com/get/latest'
它只是我想要的。我也可以用浏览器下载文件。
但是，当我将其放入 shell 脚本并尝试将其作为 cron 作业运行时，什么也没有发生。我没有看到任何错误/var/log/syslog。
这是整个shell脚本：
#!/bin/sh
wget -q --content-disposition 'http://bkp.www1.linux.local/get/latest'
我也试过了#!/bin/bash，同样的结果。
我究竟做错了什么？
有两台机器：
构建：使用jenkins获取代码并构建war文件
部署：用于将war文件部署到tomcat服务器进行测试。
我正在尝试对从构建机器到部署机器的战争文件进行自动更新。
我打算使用 wget 来获取每次更新所需的战争的 lastSuccessfulBuild。lastSuccessfulBuild是一个超链接，点击后会下载战争文件。
当我尝试使用 WGET 时，它会停在那里，然后在一段时间后超时。
这是使用Deploy机器上的 wget 从Build机器上获取文件。
我可以通过 SSH 从 deploy 到Build。我可以 SCP，但它需要一个密码，这使得自动化有点困难。
我假设Build有一些防火墙问题。
我正在寻找解决方案以及如何诊断此问题
两个系统都是 Centos/Red Hat
谢谢