Início / coding / Perguntas / 78845341
Accepted
bill999
Asked: 2024-08-08 03:16:09 +0800 CST

Como criar um quadro de dados a partir de um site copiado do rvest, preservando a estrutura aninhada de dados

  • 772

Digamos que eu use read_html_live()o rvestpacote para extrair algum código parecido com este:

books <- minimal_html('
  <div>
    <div class="book">
      <div class="booktitle">Book 1</div>
      <div class="year">1999</div>
      <div class="author">Author 1</div>
      <div class="author">Author 2</div>
      <div class="author">Author 3</div>
    </div>
    <div class="book">
      <div class="booktitle">Book 2</div>
      <div class="year">2022</div>
      <div class="author">Author 4</div>
    </div>
    <div class="book">
      <div class="booktitle">Book 3</div>
      <div class="year">1845</div>
      <div class="author">Author 5</div>
      <div class="author">Author 6</div>
      <div class="author">Author 7</div>
      <div class="author">Author 8</div>
    </div>    
  </div>')

Eu gostaria de usar o rvestpacote para criar um quadro de dados (ou tibble também seria adequado) com as informações contidas acima. Gostaria que fosse organizado no nível do autor, para que cada linha contenha um autor, o título do livro e o ano.

Se eu me importasse apenas com o primeiro autor, seria fácil. Algo como:

data0 <- books %>% html_elements(".book")
title <- data0 %>% html_element(".booktitle") %>% html_text2()
year <- data0 %>% html_element(".year") %>% html_text2()
author1 <- data0 %>% html_element("author") %>% html_text2()
data <- data.frame(title, year, author1)

No entanto, eu gostaria de extrair todos os autores, sendo os autores "filhos" do livro. E o dataframe teria agora oito linhas, uma para cada autor. Por exemplo, a linha 8 teria Book 3,, 1845e Author 8. Como posso fazer isso?

Aqui está uma ideia aproximada, mas estou procurando soluções mais fáceis:

data0 <- books %>% html_elements(".book") 
title <- data0 %>% html_element(".booktitle") %>% html_text2()
year <- data0 %>% html_element(".year") %>% html_text2()

authors <- data0 %>% html_element(".author")

E então faça um loop sobre os três elementos dos autores e salve cada um deles em um dataframe. E então associe cada um desses dataframes de autor ao título e ano relevantes e de alguma forma transforme-os em um longo dataframe.

2 respostas

  1. Best Answer

    Aqui está uma abordagem usada lapplypara percorrer os nós do livro:

    library(rvest)
library(dplyr, warn = FALSE)
books <- minimal_html('
  <div>
    <div class="book">
      <div class="booktitle">Book 1</div>
      <div class="year">1999</div>
      <div class="author">Author 1</div>
      <div class="author">Author 2</div>
      <div class="author">Author 3</div>
    </div>
    <div class="book">
      <div class="booktitle">Book 2</div>
      <div class="year">2022</div>
      <div class="author">Author 4</div>
    </div>
    <div class="book">
      <div class="booktitle">Book 3</div>
      <div class="year">1845</div>
      <div class="author">Author 5</div>
      <div class="author">Author 6</div>
      <div class="author">Author 7</div>
      <div class="author">Author 8</div>
    </div>
  </div>')

data0 <- books %>%
  html_elements(".book") |>
  lapply(\(x) {
    tibble(
      title = x |> html_element(".booktitle") |> html_text2(),
      year = x |> html_element(".year") |> html_text2(),
      authors = x |> html_elements(".author") |> html_text2(),
    )
  }) |>
  bind_rows()

data0
#> # A tibble: 8 × 3
#>   title  year  authors 
#>   <chr>  <chr> <chr>   
#> 1 Book 1 1999  Author 1
#> 2 Book 1 1999  Author 2
#> 3 Book 1 1999  Author 3
#> 4 Book 2 2022  Author 4
#> 5 Book 3 1845  Author 5
#> 6 Book 3 1845  Author 6
#> 7 Book 3 1845  Author 7
#> 8 Book 3 1845  Author 8
    • 3

  2. Isso colocará o atributo de classe e o texto em um conjunto de dados de pares nome-valor que será gerado em formato longo. Um identificador de livro ( book) foi adicionado ao quadro de dados de saída para facilitar a execução de operações de agrupamento (como dinamizar para um formato amplo):

    library(rvest)
library(purrr)

book <- html_elements(books, xpath = "//div[@class='book']") 

data <- map_dfr(seq_along(book), \(i) {
  b <- book[[i]]
  children <- html_children(b)
  data.frame(book = i,
             name = children |> html_attrs() |> unlist(use.names = F),
             value = html_text2(children))
})
#    book      name    value
# 1     1 booktitle   Book 1
# 2     1      year     1999
# 3     1    author Author 1
# 4     1    author Author 2
# 5     1    author Author 3
# 6     2 booktitle   Book 2
# 7     2      year     2022
# 8     2    author Author 4
# 9     3 booktitle   Book 3
# 10    3      year     1845
# 11    3    author Author 5
# 12    3    author Author 6
# 13    3    author Author 7
# 14    3    author Author 8

    Por exemplo,

    library(tidyr)

pivot_wider(data, id_cols = book, values_fn = toString)
#    book booktitle year  author                             
# 1     1 Book 1    1999  Author 1, Author 2, Author 3          
# 2     2 Book 2    2022  Author 4                              
# 3     3 Book 3    1845  Author 5, Author 6, Author 7, Author 8
    • 3

relate perguntas