AskOverflow.Dev

AskOverflow.Dev Logo AskOverflow.Dev Logo

AskOverflow.Dev Navigation

  • Início
  • system&network
  • Ubuntu
  • Unix
  • DBA
  • Computer
  • Coding
  • LangChain

Mobile menu

Close
  • Início
  • system&network
    • Recentes
    • Highest score
    • tags
  • Ubuntu
    • Recentes
    • Highest score
    • tags
  • Unix
    • Recentes
    • tags
  • DBA
    • Recentes
    • tags
  • Computer
    • Recentes
    • tags
  • Coding
    • Recentes
    • tags
Início / unix / Perguntas / 435091
Accepted
Matt Zabojnik
Matt Zabojnik
Asked: 2018-04-03 09:25:39 +0800 CST2018-04-03 09:25:39 +0800 CST 2018-04-03 09:25:39 +0800 CST

Como posso obter de uma lista com várias linhas em um nome de arquivo?

  • 772

Gostaria de obter uma lista de itens que estou recuperando de um arquivo XML. Estou usando sed para limpar o XML e estou terminando com uma saída como esta:

CountofMonteCristo.zip
English.
http://www.archive.org/download/count_monte_cristo_0711_librivox/count_monte_cristo_0711_librivox_64kb_mp3.zip
Alexandre.
Dumas.
LettersofTwoBrides.zip
English.
http://www.archive.org/download/letters_brides_0709_librivox/letters_brides_0709_librivox_64kb_mp3.zip
Honoréde.
Balzac.
BleakHouse.zip
English.
http://www.archive.org/download/bleak_house_cl_librivox/bleak_house_cl_librivox_64kb_mp3.zip
Charles.
Dickens.

Eu gostaria de usar wget -i para baixar esses arquivos como Language.Lastname.Firstname.Title.zip

Estou aberto para reorganizar o arquivo de alguma forma para que eu possa usar $ filename $ url

Eu tentei alguns comandos sed diferentes. Sed é o que usei para limpar as tags XML, mas não consigo descobrir como mover o texto para o local apropriado. Os títulos, nomes e idiomas variam para cada arquivo.

EDIT: Antes de limpar as tags com sed, cada linha é agrupada em tags, como English e FileTitle. Acho que isso pode ser útil para identificar padrões para reorganizar as coisas.

EDIT2: Aqui está a fonte XML

EDIT3: Algo assim parece que funcionaria, mas estou tendo problemas para modificá-lo para atender às minhas necessidades.

Meu objetivo final é organizar todos os arquivos em pastas, com uma hierarquia de Language -> AuthorLastnameFirstname -> Files.zip

Se o que estou fazendo não for a melhor prática, estou aberto a outros métodos.

Obrigado

bash wget
  • 3 3 respostas
  • 654 Views

3 respostas

  • Voted
  1. Jamie Lindsey
    2018-04-03T15:15:00+08:002018-04-03T15:15:00+08:00

    Se o que estou fazendo não for a melhor prática, estou aberto a outros métodos.

    Vou sugerir que você não use bashou sedetc.! E siga o método python, que é definitivamente uma maneira muito melhor de analisar o xml que você precisa analisar. Acabei de escrever e testar isso com python3.6 e ele faz exatamente o que você pediu.

    #!/usr/bin/python3
    # Let's import the modules we need
    import wget
    import os
    import requests
    from bs4 import BeautifulSoup as bs
    
    # Assign the url to a variable (not essential as we 
    # only use it once, but it's pythonic)
    url = 'https://librivox.org/api/feed/audiobooks/?offset=0&limit=3&fields=%7Blanguage,authors,title,url_zip_file%7B'
    
    # Use requests to fetch the raw xml
    r = requests.get(url)
    
    # Use BeautifulSoup and lxml to parse the raw xml so 
    # we can do stuff with it
    s = bs(r.text, 'lxml')
    
    # We need to find the data we need. This will find it and create some 
    # python lists for us to loop through later
    
    # Find all xml tags named 'url_zip_file' and assign them to variable
    links = s.find_all('url_zip_file')
    
    # Find all xml tags named 'last_name' and assign them to variable
    last_names = s.find_all('last_name')
    
    # Find all xml tags named 'last_name' and assign them to variable
    first_names = s.find_all('first_name')
    
    # Find all xml tags named 'language' and assign them to variable
    language = s.find_all('language')
    
    # Assign the language to a variable
    english = language[0].text
    
    # Make our new language directory
    os.mkdir(english)
    
    # cd into our new language directory
    os.chdir(str(english))
    
    # Loop through the last names (ln), first names(fn) and links
    # so we can make the directories, download the file, rename the 
    # file then we go back a directory and loop again
    for ln, fn, link in zip(last_names, first_names, links):
        os.mkdir('Author{}{}'.format(str(ln.text), str(fn.text)))
        os.chdir('Author{}{}'.format(ln.text, fn.text))
        filename = wget.download(link.text)
        os.rename(filename, 'File.zip')
        os.chdir('../')
    

    Você pode salvar isso em um arquivo ou apenas colar/digitar em um cli do interpretador python3, depende de você.

    Você precisará instalar python3-wget e beautifulsoup4 usando pip ou easy_install etc.

    • 1
  2. muru
    2018-04-03T21:03:11+08:002018-04-03T21:03:11+08:00

    Se você pode usar jq, a API do Librivox também fornece saída JSON e provavelmente é mais fácil analisar JSON jqdo que XML com ferramentas XML adequadas.

    u='https://librivox.org/api/feed/audiobooks/?offset=0&limit=3&fields=%7Blanguage,authors,title,url_zip_file%7B&format=json'
    curl "$u" -sL |
      jq -r '.books[] | "\(.language).\(.authors[0].last_name + .authors[0].first_name).\(.title).zip", .url_zip_file'
    

    Dá saída como:

    English.DumasAlexandre.Count of Monte Cristo.zip
    http://www.archive.org/download/count_monte_cristo_0711_librivox/count_monte_cristo_0711_librivox_64kb_mp3.zip
    English.BalzacHonoré de.Letters of Two Brides.zip
    http://www.archive.org/download/letters_brides_0709_librivox/letters_brides_0709_librivox_64kb_mp3.zip
    English.DickensCharles.Bleak House.zip
    http://www.archive.org/download/bleak_house_cl_librivox/bleak_house_cl_librivox_64kb_mp3.zip
    

    Depois disso, é relativamente simples de usar xargs:

    curl "$u" -sL |
      jq -r '.books[] | "\(.language).\(.authors[0].last_name + .authors[0].first_name).\(.title).zip", .url_zip_file' |
      xargs -d '\n' -n2 wget -O
    

    Onde xargsuse duas linhas como argumento cada uma para wget, com a primeira linha se tornando o -Oparâmetro de opção e a segunda a URL.

    Embora eu recomende uma solução baseada em Python como a de Jamie , exceto usar JSON e os recursos JSON integrados do Python em vez de bs4.

    • 1
  3. Best Answer
    bu5hman
    2018-04-03T13:06:00+08:002018-04-03T13:06:00+08:00

    Força bruta.

    Se o seu xml analisado estiver embooks

    while read a; read b; read c; read d; read e; do wget $c -O $b$e$d$a; echo $c; done < books
    

    Apenas recomponha suas linhas como variáveis ​​e você está pronto, desde que seus blocos de registro sejam preenchidos em 5 linhas.

    • 0

relate perguntas

  • exportar variáveis ​​​​env programaticamente, via stdout do comando [duplicado]

  • Problema estranho ao passar variáveis ​​do arquivo de texto

  • Enquanto a linha lê mantendo os espaços de escape?

  • ordem de substituição de processos `te` e `bash`

  • Execute um script muito lento até que seja bem-sucedido

Sidebar

Stats

  • Perguntas 205573
  • respostas 270741
  • best respostas 135370
  • utilizador 68524
  • Highest score
  • respostas
  • Marko Smith

    Como exportar uma chave privada GPG e uma chave pública para um arquivo

    • 4 respostas
  • Marko Smith

    ssh Não é possível negociar: "nenhuma cifra correspondente encontrada", está rejeitando o cbc

    • 4 respostas
  • Marko Smith

    Como podemos executar um comando armazenado em uma variável?

    • 5 respostas
  • Marko Smith

    Como configurar o systemd-resolved e o systemd-networkd para usar o servidor DNS local para resolver domínios locais e o servidor DNS remoto para domínios remotos?

    • 3 respostas
  • Marko Smith

    Como descarregar o módulo do kernel 'nvidia-drm'?

    • 13 respostas
  • Marko Smith

    apt-get update error no Kali Linux após a atualização do dist [duplicado]

    • 2 respostas
  • Marko Smith

    Como ver as últimas linhas x do log de serviço systemctl

    • 5 respostas
  • Marko Smith

    Nano - pule para o final do arquivo

    • 8 respostas
  • Marko Smith

    erro grub: você precisa carregar o kernel primeiro

    • 4 respostas
  • Marko Smith

    Como baixar o pacote não instalá-lo com o comando apt-get?

    • 7 respostas
  • Martin Hope
    rocky Como exportar uma chave privada GPG e uma chave pública para um arquivo 2018-11-16 05:36:15 +0800 CST
  • Martin Hope
    Wong Jia Hau ssh-add retorna com: "Erro ao conectar ao agente: nenhum arquivo ou diretório" 2018-08-24 23:28:13 +0800 CST
  • Martin Hope
    Evan Carroll status systemctl mostra: "Estado: degradado" 2018-06-03 18:48:17 +0800 CST
  • Martin Hope
    Tim Como podemos executar um comando armazenado em uma variável? 2018-05-21 04:46:29 +0800 CST
  • Martin Hope
    Ankur S Por que /dev/null é um arquivo? Por que sua função não é implementada como um programa simples? 2018-04-17 07:28:04 +0800 CST
  • Martin Hope
    user3191334 Como ver as últimas linhas x do log de serviço systemctl 2018-02-07 00:14:16 +0800 CST
  • Martin Hope
    Marko Pacak Nano - pule para o final do arquivo 2018-02-01 01:53:03 +0800 CST
  • Martin Hope
    Kidburla Por que verdadeiro e falso são tão grandes? 2018-01-26 12:14:47 +0800 CST
  • Martin Hope
    Christos Baziotis Substitua a string em um arquivo de texto enorme (70 GB), uma linha 2017-12-30 06:58:33 +0800 CST
  • Martin Hope
    Bagas Sanjaya Por que o Linux usa LF como caractere de nova linha? 2017-12-20 05:48:21 +0800 CST

Hot tag

linux bash debian shell-script text-processing ubuntu centos shell awk ssh

Explore

  • Início
  • Perguntas
    • Recentes
    • Highest score
  • tag
  • help

Footer

AskOverflow.Dev

About Us

  • About Us
  • Contact Us

Legal Stuff

  • Privacy Policy

Language

  • Pt
  • Server
  • Unix

© 2023 AskOverflow.DEV All Rights Reserve