我正在wget
从一个包含我需要下载的文件的 URL 的 csv 文件中下载 ~330k 科学文件。所以,我正在使用命令
wget -i all_the_urls.csv
我的文件all_the_urls.csv
看起来像这样
http://dr16.sdss.org/sas/dr16/sdss/spectro/redux/v5_13_0/spectra/lite/11040/spec-11040-58456-0109.fits
http://dr16.sdss.org/sas/dr16/sdss/spectro/redux/v5_13_0/spectra/lite/11068/spec-11068-58488-0780.fits
http://dr16.sdss.org/sas/dr16/sdss/spectro/redux/v5_13_0/spectra/lite/11068/spec-11068-58488-0240.fits
这些文件很小,每个约 250 kB。但是它们的数量如此之大,以至于我有时需要中断下载然后再次继续下载。是否有一个wget
命令可以使用,以便我可以在上次下载的文件之后,而不是在 URL 列表的开头继续下载我离开的地方?
如果没有这样的命令,你能告诉我如何使用以下解决方法之一(我不知道wget
):
- 下载文件后
wget
使其删除该文件的URLall_the_urls.csv
- 在
wget
下载一个新文件之前检查这个文件是否已经下载,如果是,跳到下一个文件(虽然不确定这个检查的时间有多长)
也欢迎任何其他想法!tnx
-c
继续 & 可能-nc
没有任何破坏应该工作。mirror
尽管上面的文档很差,但您可能会更好地查看。