主页 / user-392430

NeStack's questions

Martin Hope
NeStack
Asked: 2021-11-27 07:43:39 +0800 CST
  • 1

我正在尝试使用以下命令从文件夹中填充 .fits 文件的所有名称的 txt：

ls *.fits > output_all.txt

文件夹中的 .fits 文件数 >330k，我收到错误消息

bash: /usr/bin/ls: Argument list too long

我该如何解决这个问题？

或者，可能完全避免创建文件output_all.txt。我只需要它告诉STILTS工具哪些 .fits 文件用这个命令合并到一个大的 .fits 文件中

stilts tcat in=@output_all.txt out=table_stilts.fits icmd='keepcols "FLUX LOGLAM"'

如果您知道一种方法来告诉 STILTS 接受作为输入的目录，而不是文件，它将解决我的ls. 肿瘤坏死因子

bash ls
Martin Hope
NeStack
Asked: 2021-11-25 09:08:32 +0800 CST
  • 2

我正在使用 wget 从包含我需要下载的文件的 URL 的 csv 文件中下载 ~330k 科学文件。所以，我正在使用命令

wget -i all_the_urls.csv

我的文件 all_the_urls.csv 看起来像这样

http://dr16.sdss.org/sas/dr16/sdss/spectro/redux/v5_13_0/spectra/lite/11040/spec-11040-58456-0109.fits
http://dr16.sdss.org/sas/dr16/sdss/spectro/redux/v5_13_0/spectra/lite/11068/spec-11068-58488-0780.fits
http://dr16.sdss.org/sas/dr16/sdss/spectro/redux/v5_13_0/spectra/lite/11068/spec-11068-58488-0240.fits
...

这些文件很小，每个约 250 kB。wget但是它们的数量是如此之大，以至于如果它只是一个接一个的文件，则下载它们需要几天的时间。是否可以使用 wget 命令以便我可以同时下载多个文件？注意 - 我的问题与许多其他关于从同一网站下载许多文件的问题并不重复。另外，请不要建议我wget2- 我在安装时遇到了一些问题wget2，我在这里寻找其他解决方案。

可能相关的是，我的互联网连接约为 550 MB/秒，当文件逐个下载时，它们的下载速度显示为 150 kB/秒，相比之下这是微不足道的。因此，关于带宽，一次下载多个文件是有意义的（至少我猜是这样）

您能否告诉我如何执行其中一种潜在的替代方案：

  • 在下载文件之前先压缩文件，希望单个大 zip 文件可以更快地下载
  • 我正在下载的文件.fits包含 3 个表格。我实际上只需要他们每个人的第一张桌子。因此，如果我只能wget访问和下载第一个表（最好将所有第一个表附加到一个大文件/表中），那么这也可以节省时间

Tnx 的任何建议或想法

wget download
Martin Hope
NeStack
Asked: 2021-11-24 11:53:17 +0800 CST
  • 0

我正在wget从一个包含我需要下载的文件的 URL 的 csv 文件中下载 ~330k 科学文件。所以，我正在使用命令

wget -i all_the_urls.csv

我的文件all_the_urls.csv看起来像这样

http://dr16.sdss.org/sas/dr16/sdss/spectro/redux/v5_13_0/spectra/lite/11040/spec-11040-58456-0109.fits
http://dr16.sdss.org/sas/dr16/sdss/spectro/redux/v5_13_0/spectra/lite/11068/spec-11068-58488-0780.fits
http://dr16.sdss.org/sas/dr16/sdss/spectro/redux/v5_13_0/spectra/lite/11068/spec-11068-58488-0240.fits

这些文件很小，每个约 250 kB。但是它们的数量如此之大，以至于我有时需要中断下载然后再次继续下载。是否有一个wget命令可以使用，以便我可以在上次下载的文件之后，而不是在 URL 列表的开头继续下载我离开的地方？

如果没有这样的命令，你能告诉我如何使用以下解决方法之一（我不知道wget）：

  • 下载文件后wget使其删除该文件的URLall_the_urls.csv
  • 在wget下载一个新文件之前检查这个文件是否已经下载，如果是，跳到下一个文件（虽然不确定这个检查的时间有多长）

也欢迎任何其他想法！tnx

wget download