Início / unix / Perguntas / 792326
Accepted
Amirali
Asked: 2025-03-12 15:47:44 +0800 CST

Baixando arquivos HTML de um site com wget, apenas me dê um index.html

  • 772

Estou tentando baixar 1000 páginas HTML de um site específico ( https://isna.ir/ ) com o wget de forma recursiva (faz parte da nossa tarefa do curso), mas ele apenas baixa um arquivo index.html.

Eu tentei várias opções que o wget fornece, mas nenhuma delas funciona, também tentei--reject="index.html"

O comando: wget --recursive -nd -np --random-wait -U Googlebot -P ./isna_crawl https://isna.ir/

wget

2 respostas

  1. Best Answer

    Parece que o site define um cookie ao acessar sua raiz, que deve ser posteriormente apresentado para acessar outras páginas.

    Parece que o wget, por padrão, não preserva cookies entre solicitações ao baixar páginas recursivamente.

    Tente adicionar estes sinalizadores à invocação do wget:

    --save-cookies cookies.txt
--load-cookies cookies.txt

    Testei isso com um conjunto mais simples de sinalizadores de opção:

    wget --save-cookies cookies.txt --load-cookies cookies.txt -r -l2 https://www.isna.ir/

    • 1

  2. Movido da pergunta

    Solução:

    Usar este comando foi útil:

    wget --recursive --no-clobber --page-requisites --html-extension --convert-links --domains=isna.ir --no-parent http://www.isna.ir/
    • 0

relate perguntas