Início / unix / Perguntas / 792345
Accepted
Amirali
Asked: 2025-03-12 23:17:39 +0800 CST

Wget baixa conteúdo errado

  • 772

Estou tentando baixar um sitemap.xml específico ( https://www.irna.ir/sitemap/all/sitemap.xml ). O problema é que quando você carrega o sitemap.xml específico por alguns segundos, uma página branca com um cabeçalho (você está redirecionando...) aparece e depois desaparece. Quando li o sitemap.xml baixado, era apenas um arquivo HTML com os detalhes da página de redirecionamento, não o sitemap.xml exato que eu queria.

Parte do arquivo baixado (sitemap.xml) :

<!DOCTYPE html>
<html lang="en">
<head>
<meta name="generator" content=
"HTML Tidy for HTML5 for Linux version 5.8.0">
<meta charset="UTF-8">
<meta name="viewport" content="width=device-width">
<link href="/cdn-cgi/assets/css/static-pages-2.6.0.css" rel=
"stylesheet">
<link rel="icon" type="image/x-icon" href="//#DOMAIN#/favicon.ico">
<title></title>
</head>
<body>
<section class=
"error-section error-section--waiting error-section--ltr error-section--hide"
id="en">
<div class="container">
<div class=
"error-section__wrapper error-section__wrapper--waiting">
<div class="error-section__information">
<h1 class="error-section__title"></h1>
<h2 class=
"error-section__subtitle error-section__subtitle--waiting">
Transferring to the website...</h2>
</div>
</div>
</div>
</section>
<section class=
"error-section error-section--waiting error-section--hide" id="fa">
<div class="container">
<div class=
"error-section__wrapper error-section__wrapper--waiting">
<div class="error-section__information">
<h1 class="error-section__title"></h1>
<h2 class=
"error-section__subtitle error-section__subtitle--waiting">در ﺣﺎل
اﻧﺘﻘﺎل ﺑﻪ ﺳﺎﯾﺖ ﻣﻮرد ﻧﻈﺮ ﻫﺴﺘﯿﺪ...</h2>
</div>
</div>
</div>
</section>
<script>
var _this = this;

Comando usado: wget https://www.irna.ir/sitemap/all/sitemap.xml

Parte do chapéu que eu quero (sitemap.xml):

<sitemapindex xmlns:image="http://www.google.com/schemas/sitemap-image/1.1" xmlns="http://www.sitemaps.org/schemas/sitemap/0.9" xmlns:news="http://www.google.com/schemas/sitemap-news/0.9" xmlns:video="http://www.google.com/schemas/sitemap-video/1.1">
<sitemap>
<loc>https://www.irna.ir/sitemap/1403/12/22/sitemap.xml</loc>
</sitemap>
<sitemap>
<loc>https://www.irna.ir/sitemap/1403/12/21/sitemap.xml</loc>
</sitemap>

Quero baixar o conteúdo XML do sitemap.xml, não a página inicial (que tem o mesmo URL)

wget

1 respostas

  1. Best Answer

    Isso não é possível com ferramentas tradicionais como wgetnor curl, porque o xmlé gerado por .

    Você pode verificar isso ao enfrentar esse tipo de problema, por exemplo, com o Firefox:

    • abrirabout:config
    • definido javascript.enabledparafalse
    • recarregue a página.

    O que você pode fazer é usar uma Javascriptbiblioteca capaz na linguagem de sua escolha.

    Eu penso em

    Implementação do puppeteer ( ) do pptr

    const puppeteer = require('puppeteer');

(async () => {
    var url = 'https://www.irna.ir/sitemap/all/sitemap.xml';

    const browser = await puppeteer.launch({ headless: true });
    const page = await browser.newPage();

    await page.setUserAgent("Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/125.0.0.0 Safari/537.36");

    await page.setRequestInterception(true);

    page.on('request', (request) => {
        const headers = Object.assign({}, request.headers(), {
            'Accept': 'application/xml'
        });
        request.continue({ headers });
    });

    await page.goto(url, { waitUntil: 'networkidle2' });
    await page.waitForSelector('sitemap > loc');
    const xml = await page.evaluate(() => document.documentElement.outerHTML);
    console.log(xml);

    await browser.close();
})();
    • 1

relate perguntas