Início / coding / Perguntas / 78841560
Accepted
js4032
Asked: 2024-08-07 09:50:15 +0800 CST

Problemas para extrair links de uma página da web com o rvest

  • 772

Novo em web scraping, perdoe a pergunta básica, mas estou tentando extrair URLs de filmes de listas no Letterboxd e estou tendo alguns problemas. Usando esta lista como exemplo, consegui encontrar a localização do link no HTML aqui:

classe de link

No entanto, não consigo tirar o link disso. Eu tentei dois métodos até agora. Primeiro tentei pegar todos os elementos do link, na esperança de filtrar aqueles que não precisava:

library(rvest)
link <- 'https://letterboxd.com/horrorville/list/horrorville-community-80s-video-store-horror/'
page <- read_html(link)

page %>%
  html_elements('a') %>%
  html_attr('href')

Isso retornou URLs, mas nenhum deles era realmente dos filmes da lista. Tentei então selecionar com base no nome da classe. Não tenho muita familiaridade com HTML, mas meu entendimento é que ele class="frame has-menu"indica duas classes separadas framee has-menuque podem ser combinadas no rvest separando-as por pontos, então tentei isso:

page %>%
  html_elements('.frame.has-menu') %>%
  html_attr('href')

Isso não retornou nada.

Eu vi essa outra pergunta que parecia semelhante, então tentei examinar a guia Rede das ferramentas de desenvolvimento do meu navegador (Firefox), conforme sugerido pelo respondente. Eu não tinha certeza do que fazer com isso, mas parecia que as solicitações relacionadas aos filmes estavam usando solicitações GET, enquanto na outra pergunta o respondente disse que o problema é que o rvest não consegue lidar com solicitações POST. Qual é o meu problema aqui?

1 respostas

  1. Best Answer

    Foram necessárias algumas tentativas e erros para encontrar a parte HTML correta que contém os URLs individuais (talvez outra pessoa possa adicionar algo a esta postagem se houver uma maneira mais rápida e eficiente de chegar à parte HTML correta). Usei as ferramentas de desenvolvedor do Chrome (clique com o botão direito em qualquer página> Inspecionar) e examinei o código para ver onde estão os URLs dos filmes.

    Existem duas páginas para o URL dos filmes, então pegamos os dois URLs das páginas e percorremos. O data-target-linkatributo contém apenas parte do URL, então anexamos o URL do site a ele para obter o caminho completo.

    library(rvest)

link <- 'https://letterboxd.com/horrorville/list/horrorville-community-80s-video-store-horror/'

all_links <- c(link, paste0(link, "page/2/"))

# Loop through the different pages and extract URLs
all_movies_urls <- lapply(
  X = all_links
  ,function(lnk) {
    
    # Read entire page's html
    page_html <- read_html(lnk)
    
    # Narrow down to the correct html containing URLs
    movie_urls <- page_html %>% 
      html_nodes(".poster-container") %>% 
      html_nodes(".really-lazy-load") %>% 
      html_attr("data-target-link")
    
    # Append site URL to each movie URL
    movie_urls <- paste0("https://letterboxd.com", movie_urls)
    
  }
)

# Unlist to get vector of URLs
unlist(all_movies_urls)
    • 1

relate perguntas