Perguntas[wget](unix)

Quero baixar muitos arquivos (> dezenas de milhões). Eu tenho o URL de cada arquivo. Eu tenho a lista de URLs em um arquivo URLs.txt:

http://mydomain.com/0wd.pdf
http://mydomain.com/asz.pdf
http://mydomain.com/axz.pdf
http://mydomain.com/b00.pdf
http://mydomain.com/bb0.pdf
etc.

Posso baixá-los via wget -i URLs.txt, porém ultrapassaria o número máximo de arquivos que podem ser colocados em uma pasta.

Como posso baixar esta grande lista de URLs para que os arquivos baixados sejam divididos em subpastas contendo a primeira letra dos nomes dos arquivos? Por exemplo,:

0/0wd.pdf
a/asz.pdf
a/axz.pdf
b/b00.pdf
b/bb0.pdf
etc.

Se isso importa, eu uso o Ubuntu.

Estou baixando vários arquivos de uma lista, usando wget, com este

wget -nc --input-file=list

O problema desse método é que ele baixa arquivos em sequência e demora muito.

Eu sei que posso dividir o arquivo em vários arquivos menores e disparar manualmente vários comandos. Eu pergunto se é possível fazer isso automaticamente.

wgetcomando falha ao baixar um arquivo com erro "O proprietário do certificado não corresponde ao nome do host"

A saída completa do comando é mostrada abaixo:

wget --continue --directory-prefix=/download https://server.example.com/repo/software-1.0.rpm

Resolving server.example.com (server.example.com)... 10.77.66.27

Connecting to server.example.com (server.example.com)|10.77.66.27|:443... connected.

The certificate's owner does not match hostname ‘server.example.com’

Isso está em um sistema RedHat 8.6 e o trust list​​comando não mostra nenhum certificado para server.example.com. No entanto, há uma entrada comlabel: localhost

• Onde o comando wget está encontrando um certificado para o servidor? Por que isso não é mostrado na saída detalhada?
• Como imprimir o conteúdo deste certificado ou excluí-lo?

Imagine que você baixou um arquivo para~/img.txt

wget https://picsum.photos/200 -O ~/img.jpg

O arquivo de imagem é armazenado. Agora imagine que você tente novamente, mas com uma URL errada

wget https://picsum.photooooooos/200 -O ~/img.jpg

O arquivo é então apagado/esvaziado.

Como evitar a substituição do arquivo caso a URL retorne 404 ou haja algum erro no download?

Estou usando o wget para baixar arquivos, mas aparentemente ele fornece o arquivo HTML em vez do arquivo que preciso.

minha versão do wget é GNU Wget 1.19.1 construída no linux-gnu e aqui está a linha de comando que usei:

wget --user=... --password=... https://transfer.usz.ch/messages/O6Xk6MAxMUYYIql5OTSRlo/attachments/dgzQv5Nl8Sv1eS6GDdtY3S/download/B201643229_T_S60_sort_merge_dup_recal_RGtag.bam

Eu me pergunto o que deu esse erro.

Baixei o site https://www.untools.co/ com

wget --mirror --convert-links https://www.untools.co/

e ter as respectivas páginas no meu sistema de arquivos:

Quando abro untools.co/index.htmlcom o Firefox, posso ver a página por meio segundo, depois sou redirecionado para file:///.

Não acredito que isso seja um problema com o arquivo html, pois quando abro no Windows da máquina virtual com o Firefox, não tenho problemas.

Este é o caso não apenas do Firefox, mas também dos navegadores Chrome, Brave, Konqueror, então acho que deve ser algo com o meu Kubuntu 20.04.

Ou pode ser que haja algum outro redirecionamento estranho acontecendo, eu não estou ciente. Por exemplo, em https://help.dreamhost.com/hc/en-us/articles/215747748-How-can-I-redirect-and-rewrite-my-URLs-with-an-htaccess-file- eu li sobre como redirecionar de index.html - no entanto, quero ter certeza de que não sou redirecionado.

Quero baixar parte de um arquivo .tar.gz grande (199 GB) daqui . Para começar, usei o seguinte comando para listar todos os arquivos do arquivo .tar.gz:

wget -qO- https://www.cs.cornell.edu/projects/megadepth/dataset/Megadepth_v1/MegaDepth_v1.tar.gz | tar -tz

Em seguida, tentei baixar o conteúdo de uma pasta no .tar.gz usando o comando:

wget -qO- https://www.cs.cornell.edu/projects/megadepth/dataset/Megadepth_v1/MegaDepth_v1.tar.gz | tar -xz phoenix/S6/zl548/MegaDepth_v1/0000

No entanto, isso leva muito tempo porque o tarcomando pesquisa em profundidade e recursivamente em cada uma das pastas abaixo phoenix/S6/zl548/MegaDepth_v1. Estou interessado apenas no conteúdo da pasta phoenix/S6/zl548/MegaDepth_v1/0000. Existe uma maneira de baixar o conteúdo desta pasta sem pesquisar nas subpastas das outras pastas, como

phoenix/S6/zl548/MegaDepth_v1/0162
phoenix/S6/zl548/MegaDepth_v1/0001
phoenix/S6/zl548/MegaDepth_v1/0132

Em outras palavras, existe uma maneira mais rápida de baixar o conteúdo da pasta phoenix/S6/zl548/MegaDepth_v1/0000?

Algumas referências para os comandos acima:

Como extrair arquivos específicos do tar.gz

Como baixar um arquivo e extraí-lo sem salvar o arquivo no disco?

https://stackoverflow.com/q/2700306/13809128

Estou tentando usar o wget para baixar todos os arquivos do Betacoronavirus que terminam em .tar.gz de https://ftp.ncbi.nlm.nih.gov/blast/db/ . Eu posso usar wget e colar o link para um único desses arquivos, e ele fará o download muito bem. Mas quando tento usar algum tipo de regex, por exemplo, algo com Betacoronavirus.*.tar.gz para baixá-los todos de uma vez para mim, não funciona. Eu tentei várias coisas que eu vi em alguns outros tópicos, mas ainda assim, nenhum funciona.

Eu tenho um diretório em um computador (usado por todo o meu departamento) que possui um software wget desatualizado (wget-1.14). Instalei uma nova versão no meu diretório local, onde tenho permissões de gravação (não sou o administrador), usando:

curl -O http://ftp.gnu.org/gnu/wget/wget-1.21.tar.gz
tar xvf wget-1.21.tar.gz
cd wget-1.21
./configure --prefix=/home/my/directory --with-ssl=openssl
make
make install

Esses comandos pareciam funcionar. Mas " whereis wget" retorna o software antigo. Da mesma forma, " wget -V" retorna "wget-1.14."

Como uso o wget-1.21 mais recente que instalei no meu diretório local?

Recebi um diretório compartilhado com arquivos no owncloud. Para baixar apenas alguns deles para meu diretório em um servidor remoto, clico com o botão direito do mouse em um nome de arquivo, copio o endereço do link e uso

wget --no-check-certificate -O 1_S1_L001_R1_001.fastq.gz https://url/index.php/s/download?path=%2F&files=1_S1_L001_R1_001.fastq.gz

em vez de baixar apenas esse arquivo, ele tenta baixar todos os arquivos do diretório e trava devido à falta de memória. Como faço para baixar arquivos separadamente neste caso?

PS: se eu clicar no nome do arquivo em um navegador da web, ele baixa o arquivo exato que eu preciso. Então o wget deve baixar apenas esse arquivo, certo? Por que ele carrega todos os arquivos?