Início / user-722640

Amirali's questions

Martin Hope
Amirali
Asked: 2025-03-12 23:17:39 +0800 CST
  • 5

Estou tentando baixar um sitemap.xml específico ( https://www.irna.ir/sitemap/all/sitemap.xml ). O problema é que quando você carrega o sitemap.xml específico por alguns segundos, uma página branca com um cabeçalho (você está redirecionando...) aparece e depois desaparece. Quando li o sitemap.xml baixado, era apenas um arquivo HTML com os detalhes da página de redirecionamento, não o sitemap.xml exato que eu queria.

Parte do arquivo baixado (sitemap.xml) :

<!DOCTYPE html>
<html lang="en">
<head>
<meta name="generator" content=
"HTML Tidy for HTML5 for Linux version 5.8.0">
<meta charset="UTF-8">
<meta name="viewport" content="width=device-width">
<link href="/cdn-cgi/assets/css/static-pages-2.6.0.css" rel=
"stylesheet">
<link rel="icon" type="image/x-icon" href="//#DOMAIN#/favicon.ico">
<title></title>
</head>
<body>
<section class=
"error-section error-section--waiting error-section--ltr error-section--hide"
id="en">
<div class="container">
<div class=
"error-section__wrapper error-section__wrapper--waiting">
<div class="error-section__information">
<h1 class="error-section__title"></h1>
<h2 class=
"error-section__subtitle error-section__subtitle--waiting">
Transferring to the website...</h2>
</div>
</div>
</div>
</section>
<section class=
"error-section error-section--waiting error-section--hide" id="fa">
<div class="container">
<div class=
"error-section__wrapper error-section__wrapper--waiting">
<div class="error-section__information">
<h1 class="error-section__title"></h1>
<h2 class=
"error-section__subtitle error-section__subtitle--waiting">در ﺣﺎل
اﻧﺘﻘﺎل ﺑﻪ ﺳﺎﯾﺖ ﻣﻮرد ﻧﻈﺮ ﻫﺴﺘﯿﺪ...</h2>
</div>
</div>
</div>
</section>
<script>
var _this = this;

Comando usado: wget https://www.irna.ir/sitemap/all/sitemap.xml

Parte do chapéu que eu quero (sitemap.xml):

<sitemapindex xmlns:image="http://www.google.com/schemas/sitemap-image/1.1" xmlns="http://www.sitemaps.org/schemas/sitemap/0.9" xmlns:news="http://www.google.com/schemas/sitemap-news/0.9" xmlns:video="http://www.google.com/schemas/sitemap-video/1.1">
<sitemap>
<loc>https://www.irna.ir/sitemap/1403/12/22/sitemap.xml</loc>
</sitemap>
<sitemap>
<loc>https://www.irna.ir/sitemap/1403/12/21/sitemap.xml</loc>
</sitemap>

Quero baixar o conteúdo XML do sitemap.xml, não a página inicial (que tem o mesmo URL)

wget
Martin Hope
Amirali
Asked: 2025-03-12 15:47:44 +0800 CST
  • 5

Estou tentando baixar 1000 páginas HTML de um site específico ( https://isna.ir/ ) com o wget de forma recursiva (faz parte da nossa tarefa do curso), mas ele apenas baixa um arquivo index.html.

Eu tentei várias opções que o wget fornece, mas nenhuma delas funciona, também tentei--reject="index.html"

O comando: wget --recursive -nd -np --random-wait -U Googlebot -P ./isna_crawl https://isna.ir/

wget