Início / unix / 问题

Perguntas[wget](unix)

Martin Hope
Amirali
Asked: 2025-03-12 23:17:39 +0800 CST
  • 5

Estou tentando baixar um sitemap.xml específico ( https://www.irna.ir/sitemap/all/sitemap.xml ). O problema é que quando você carrega o sitemap.xml específico por alguns segundos, uma página branca com um cabeçalho (você está redirecionando...) aparece e depois desaparece. Quando li o sitemap.xml baixado, era apenas um arquivo HTML com os detalhes da página de redirecionamento, não o sitemap.xml exato que eu queria.

Parte do arquivo baixado (sitemap.xml) :

<!DOCTYPE html>
<html lang="en">
<head>
<meta name="generator" content=
"HTML Tidy for HTML5 for Linux version 5.8.0">
<meta charset="UTF-8">
<meta name="viewport" content="width=device-width">
<link href="/cdn-cgi/assets/css/static-pages-2.6.0.css" rel=
"stylesheet">
<link rel="icon" type="image/x-icon" href="//#DOMAIN#/favicon.ico">
<title></title>
</head>
<body>
<section class=
"error-section error-section--waiting error-section--ltr error-section--hide"
id="en">
<div class="container">
<div class=
"error-section__wrapper error-section__wrapper--waiting">
<div class="error-section__information">
<h1 class="error-section__title"></h1>
<h2 class=
"error-section__subtitle error-section__subtitle--waiting">
Transferring to the website...</h2>
</div>
</div>
</div>
</section>
<section class=
"error-section error-section--waiting error-section--hide" id="fa">
<div class="container">
<div class=
"error-section__wrapper error-section__wrapper--waiting">
<div class="error-section__information">
<h1 class="error-section__title"></h1>
<h2 class=
"error-section__subtitle error-section__subtitle--waiting">در ﺣﺎل
اﻧﺘﻘﺎل ﺑﻪ ﺳﺎﯾﺖ ﻣﻮرد ﻧﻈﺮ ﻫﺴﺘﯿﺪ...</h2>
</div>
</div>
</div>
</section>
<script>
var _this = this;

Comando usado: wget https://www.irna.ir/sitemap/all/sitemap.xml

Parte do chapéu que eu quero (sitemap.xml):

<sitemapindex xmlns:image="http://www.google.com/schemas/sitemap-image/1.1" xmlns="http://www.sitemaps.org/schemas/sitemap/0.9" xmlns:news="http://www.google.com/schemas/sitemap-news/0.9" xmlns:video="http://www.google.com/schemas/sitemap-video/1.1">
<sitemap>
<loc>https://www.irna.ir/sitemap/1403/12/22/sitemap.xml</loc>
</sitemap>
<sitemap>
<loc>https://www.irna.ir/sitemap/1403/12/21/sitemap.xml</loc>
</sitemap>

Quero baixar o conteúdo XML do sitemap.xml, não a página inicial (que tem o mesmo URL)

wget
Martin Hope
Amirali
Asked: 2025-03-12 15:47:44 +0800 CST
  • 5

Estou tentando baixar 1000 páginas HTML de um site específico ( https://isna.ir/ ) com o wget de forma recursiva (faz parte da nossa tarefa do curso), mas ele apenas baixa um arquivo index.html.

Eu tentei várias opções que o wget fornece, mas nenhuma delas funciona, também tentei--reject="index.html"

O comando: wget --recursive -nd -np --random-wait -U Googlebot -P ./isna_crawl https://isna.ir/

wget
Martin Hope
Franck Dernoncourt
Asked: 2023-12-22 06:22:57 +0800 CST
  • 5

Quero baixar muitos arquivos (> dezenas de milhões). Eu tenho o URL de cada arquivo. Eu tenho a lista de URLs em um arquivo URLs.txt:

http://mydomain.com/0wd.pdf
http://mydomain.com/asz.pdf
http://mydomain.com/axz.pdf
http://mydomain.com/b00.pdf
http://mydomain.com/bb0.pdf
etc.

Posso baixá-los via wget -i URLs.txt, porém ultrapassaria o número máximo de arquivos que podem ser colocados em uma pasta.

Como posso baixar esta grande lista de URLs para que os arquivos baixados sejam divididos em subpastas contendo a primeira letra dos nomes dos arquivos? Por exemplo,:

0/0wd.pdf
a/asz.pdf
a/axz.pdf
b/b00.pdf
b/bb0.pdf
etc.

Se isso importa, eu uso o Ubuntu.

wget
Martin Hope
Duck
Asked: 2023-11-07 01:26:59 +0800 CST
  • 5

Estou baixando vários arquivos de uma lista, usando wget, com este

wget -nc --input-file=list

O problema desse método é que ele baixa arquivos em sequência e demora muito.

Eu sei que posso dividir o arquivo em vários arquivos menores e disparar manualmente vários comandos. Eu pergunto se é possível fazer isso automaticamente.

wget
Martin Hope
Amol
Asked: 2023-09-16 08:19:01 +0800 CST
  • 5

wgetcomando falha ao baixar um arquivo com erro "O proprietário do certificado não corresponde ao nome do host"

A saída completa do comando é mostrada abaixo:

wget --continue --directory-prefix=/download https://server.example.com/repo/software-1.0.rpm

Resolving server.example.com (server.example.com)... 10.77.66.27

Connecting to server.example.com (server.example.com)|10.77.66.27|:443... connected.

The certificate's owner does not match hostname ‘server.example.com’

Isso está em um sistema RedHat 8.6 e o trust list​​comando não mostra nenhum certificado para server.example.com. No entanto, há uma entrada comlabel: localhost

  • Onde o comando wget está encontrando um certificado para o servidor? Por que isso não é mostrado na saída detalhada?
  • Como imprimir o conteúdo deste certificado ou excluí-lo?
wget
Martin Hope
João Pimentel Ferreira
Asked: 2023-06-13 02:32:24 +0800 CST
  • 5

Imagine que você baixou um arquivo para~/img.txt

wget https://picsum.photos/200 -O ~/img.jpg

O arquivo de imagem é armazenado. Agora imagine que você tente novamente, mas com uma URL errada

wget https://picsum.photooooooos/200 -O ~/img.jpg

O arquivo é então apagado/esvaziado.

Como evitar a substituição do arquivo caso a URL retorne 404 ou haja algum erro no download?

wget
Martin Hope
hollyjolly
Asked: 2022-09-22 01:03:54 +0800 CST
  • 1

Estou usando o wget para baixar arquivos, mas aparentemente ele fornece o arquivo HTML em vez do arquivo que preciso.

minha versão do wget é GNU Wget 1.19.1 construída no linux-gnu e aqui está a linha de comando que usei:

wget --user=... --password=... https://transfer.usz.ch/messages/O6Xk6MAxMUYYIql5OTSRlo/attachments/dgzQv5Nl8Sv1eS6GDdtY3S/download/B201643229_T_S60_sort_merge_dup_recal_RGtag.bam

Eu me pergunto o que deu esse erro.

linux wget
Martin Hope
Make42
Asked: 2022-07-02 10:11:03 +0800 CST
  • 0

Baixei o site https://www.untools.co/ com

wget --mirror --convert-links https://www.untools.co/

e ter as respectivas páginas no meu sistema de arquivos:

insira a descrição da imagem aqui

Quando abro untools.co/index.htmlcom o Firefox, posso ver a página por meio segundo, depois sou redirecionado para file:///.

Não acredito que isso seja um problema com o arquivo html, pois quando abro no Windows da máquina virtual com o Firefox, não tenho problemas.

Este é o caso não apenas do Firefox, mas também dos navegadores Chrome, Brave, Konqueror, então acho que deve ser algo com o meu Kubuntu 20.04.

Ou pode ser que haja algum outro redirecionamento estranho acontecendo, eu não estou ciente. Por exemplo, em https://help.dreamhost.com/hc/en-us/articles/215747748-How-can-I-redirect-and-rewrite-my-URLs-with-an-htaccess-file- eu li sobre como redirecionar de index.html - no entanto, quero ter certeza de que não sou redirecionado.

ubuntu wget
Martin Hope
mhdadk
Asked: 2022-06-01 10:02:06 +0800 CST
  • 8

Quero baixar parte de um arquivo .tar.gz grande (199 GB) daqui . Para começar, usei o seguinte comando para listar todos os arquivos do arquivo .tar.gz:

wget -qO- https://www.cs.cornell.edu/projects/megadepth/dataset/Megadepth_v1/MegaDepth_v1.tar.gz | tar -tz

Em seguida, tentei baixar o conteúdo de uma pasta no .tar.gz usando o comando:

wget -qO- https://www.cs.cornell.edu/projects/megadepth/dataset/Megadepth_v1/MegaDepth_v1.tar.gz | tar -xz phoenix/S6/zl548/MegaDepth_v1/0000

No entanto, isso leva muito tempo porque o tarcomando pesquisa em profundidade e recursivamente em cada uma das pastas abaixo phoenix/S6/zl548/MegaDepth_v1. Estou interessado apenas no conteúdo da pasta phoenix/S6/zl548/MegaDepth_v1/0000. Existe uma maneira de baixar o conteúdo desta pasta sem pesquisar nas subpastas das outras pastas, como

phoenix/S6/zl548/MegaDepth_v1/0162
phoenix/S6/zl548/MegaDepth_v1/0001
phoenix/S6/zl548/MegaDepth_v1/0132

Em outras palavras, existe uma maneira mais rápida de baixar o conteúdo da pasta phoenix/S6/zl548/MegaDepth_v1/0000?

Algumas referências para os comandos acima:

Como extrair arquivos específicos do tar.gz

Como baixar um arquivo e extraí-lo sem salvar o arquivo no disco?

https://stackoverflow.com/q/2700306/13809128

wget tar
Martin Hope
arara
Asked: 2022-05-23 10:21:46 +0800 CST
  • 0

Estou tentando usar o wget para baixar todos os arquivos do Betacoronavirus que terminam em .tar.gz de https://ftp.ncbi.nlm.nih.gov/blast/db/ . Eu posso usar wget e colar o link para um único desses arquivos, e ele fará o download muito bem. Mas quando tento usar algum tipo de regex, por exemplo, algo com Betacoronavirus.*.tar.gz para baixá-los todos de uma vez para mim, não funciona. Eu tentei várias coisas que eu vi em alguns outros tópicos, mas ainda assim, nenhum funciona.

wget