Início / unix / Perguntas / 470539
Accepted
T. Caio
Asked: 2018-09-22 05:11:50 +0800 CST

Wget: baixando arquivos de forma seletiva e recursiva?

  • 772

Pergunta sobre wget, subpasta e index.html.

Digamos que eu esteja dentro da pasta "travels/" e esta em "website.com": "website.com/travels/".

A pasta "travels/" contém muitos arquivos e outras (sub)pastas: "website.com/travels/list.doc" , "website.com/travels/cover.png" , "website.com/travels/[1990 ] America/" , "website.com/travels/[1994] Japan/", e assim por diante...

Como posso baixar apenas todos os ".mov" e ".jpg" que residem apenas em todas as subpastas? Não quero pegar arquivos de "travels/" (por exemplo, não "website.com/travels/list.doc")

Encontrei um wgetcomando (no Unix&Linux Exchange, não me lembro qual foi a discussão) capaz de baixar das subpastas apenas o seu "index.html", não outros conteúdos. Por que baixar apenas arquivos de índice?

directory-structure wget

1 respostas

  1. Best Answer

    Este comando baixará apenas imagens e filmes de um determinado site:

    wget -nd -r -P /save/location -A jpeg,jpg,bmp,gif,png,mov "http://www.somedomain.com"

    De acordo com wget man :

    -nd prevents the creation of a directory hierarchy (i.e. no directories).

-r enables recursive retrieval. See Recursive Download for more information.

-P sets the directory prefix where all files and directories are saved to.

-A sets a whitelist for retrieving only certain file types. Strings and patterns are accepted, and both can be used in a comma separated list (as seen above). See Types of Files for more information.

    Se você deseja baixar subpastas, você precisa usar o sinalizador --no-parent, algo semelhante a este comando:

    wget -r -l1 --no-parent -P /save/location -A jpeg,jpg,bmp,gif,png,mov "http://www.somedomain.com"

-r: recursive retrieving
-l1: sets the maximum recursion depth to be 1
--no-parent: does not ascend to the parent; only downloads from the specified subdirectory and downwards hierarchy

    Em relação à página index.html. Ele será excluído assim que o sinalizador -Afor incluído no comando wget, porque este sinalizador forçará wgeto download de um tipo específico de arquivos, ou seja, se htmlnão estiver incluído na lista de arquivos aceitos para download (ou seja, sinalizador A), ele não será baixado e wgetexibirá no terminal a seguinte mensagem:

    Removing /save/location/default.htm since it should be rejected.

    wgetpode baixar tipos específicos de arquivos, por exemplo (jpg, jpeg, png, mov, avi, mpeg, .... etc) quando esses arquivos existem no link URL fornecido, wgetpor exemplo:

    Digamos que gostaríamos de baixar arquivos .zip e .chd deste site

    Neste link existem pastas e arquivos .zip (role até o final). Agora, digamos que gostaríamos de executar este comando:

    wget -r --no-parent -P /save/location -A chd,zip "https://archive.org/download/MAME0.139_MAME2010_Reference_Set_ROMs_CHDs_Samples/roms/"

    Este comando fará o download dos arquivos .zip e ao mesmo tempo criará uma pasta vazia para os arquivos .chd.

    Para baixar os arquivos .chd, precisaríamos extrair os nomes das pastas vazias e, em seguida, converter esses nomes de pastas em seus URLs reais. Em seguida, coloque todas as URLs de interesse em um arquivo de texto file.txt, finalmente alimente este arquivo de texto para wget, da seguinte forma:

    wget -r --no-parent -P /save/location -A chd,zip -i file.txt

    O comando anterior encontrará todos os arquivos chd.

    • 8

relate perguntas