Início / coding / Perguntas / 78973946
Accepted
Alireza Sadeghi
Asked: 2024-09-11 21:03:40 +0800 CST

Como extrair dados hierárquicos da web em formato tabular usando o rvest?

  • 772

Estou geralmente familiarizado com rvest. Sei a diferença entre html_elements()e html_element(). Mas não consigo entender esse problema:

Suponha que temos dados como os que estão nesta página da web . Os dados estão em um formato hierárquico e cada cabeçalho tem um número diferente de subtítulos.

Quando tento raspar, obtenho 177 cabeçalhos. Mas, os subtítulos são, na verdade, 270. Quero extrair os dados em um formato organizado. Mas com tamanhos de vetores diferentes, não consigo combiná-los facilmente em um tibble.

Aqui está meu código com alguns comentários sobre os resultados:

page <- read_html("https://postdocs.stanford.edu/about/department-postdoc-admins")

person_departments <- page %>% 
    html_elements(".item-list") %>% 
    html_element("h3") %>% 
    html_text2()
# The above code returns 

person_names <- page %>% 
  html_elements(".item-list li") %>% 
  html_element("h4") %>% 
  html_text2()
# This one returns 270 names (some departments have more than 1 admin)

# Using the above codes, I can't get a nice table with two columns, one for the name and one for the person's department.

2 respostas

  1. O truque principal é obter os filhos dos "item-list"elementos. Então é uma questão de processar em uma tabela. Cada departamento é um elemento de lista de numeração ímpar, as pessoas estão nos de numeração par. Deve-se tomar cuidado com cargos de departamento vagos.

    library(rvest)

link <- "https://postdocs.stanford.edu/about/department-postdoc-admins"
page <- read_html(link)

person_table <- page %>% 
  html_elements(".item-list") %>% 
  html_children() |>
  html_text2() |>
  strsplit("\nPhone:|\n|Email:") |>
  lapply(trimws)

i_odd <- c(TRUE, FALSE)
# get how many persons in each dept
r <- lengths(person_table[!i_odd]) %/% 3L
# if "Vacant", adjust to 1 person (named "Vacant", see below)
r[r == 0L] <- 1L
Department <- person_table[i_odd] |> unlist() |> rep(r)
Person <- lapply(person_table[!i_odd], \(x) {
  # these are the vacant persons
  if( length(x) == 1L) {
    matrix(c(x, "", ""), nrow = 1L)
  } else {
    matrix(x, ncol = 3L, byrow = TRUE)
  }
  }) |> do.call(rbind, args = _)

result <- cbind(Department, Person) |>
  as.data.frame() |>
  setNames(c("Department", "Name", "Phone", "Email"))

str(result)
#> 'data.frame':    270 obs. of  4 variables:
#>  $ Department: chr  "Advanced Residency Training at Stanford" "Aeronautics and Astronautics" "African & African-Amer Studies" "Anesthes, Periop & Pain Med" ...
#>  $ Name      : chr  "Sofia Gonzales" "Jenny Scholes" "Ashante Johnson" "Natalie Darling-Cabrera" ...
#>  $ Phone     : chr  "(650) 724-9139" "(510) 468-5967" "(650) 721-3969" "(650) 497-0648" ...
#>  $ Email     : chr  "[email protected]" "[email protected]" "[email protected]" "[email protected]" ...
head(result)
#>                                Department                    Name
#> 1 Advanced Residency Training at Stanford          Sofia Gonzales
#> 2            Aeronautics and Astronautics           Jenny Scholes
#> 3          African & African-Amer Studies         Ashante Johnson
#> 4             Anesthes, Periop & Pain Med Natalie Darling-Cabrera
#> 5             Anesthes, Periop & Pain Med          Ashley Johnson
#> 6             Anesthes, Periop & Pain Med        Jessica Martinez
#>            Phone                 Email
#> 1 (650) 724-9139   [email protected]
#> 2 (510) 468-5967 [email protected]
#> 3 (650) 721-3969 [email protected]
#> 4 (650) 497-0648 [email protected]
#> 5 (650) 721-7212 [email protected]
#> 6 (650) 497-8189 [email protected]

    Criado em 2024-09-11 com reprex v2.1.0

    • 2
  2. Best Answer

    Aqui está uma abordagem um pouco diferente, comece com .item-list > ul > lielementos, de lá você pode extrair diretamente nome, telefone e e-mail. Se algum desses elementos não estiver disponível no lielemento atual, você convenientemente obtém um NAvalor no quadro resultante (por exemplo, para posições vagas e para casos em que apenas o e-mail é listado).

    Para h4alternar, xpathpois permite procurar por ancestrais, dessa forma você pode obter correspondências h4para cada um lina lista de elementos.

    library(dplyr)
library(rvest)
library(purrr)

page <- read_html("https://postdocs.stanford.edu/about/department-postdoc-admins")

page |> 
  html_elements(".item-list > ul > li") |> 
  map(\(li) 
      list(
        h3    = html_element(li, xpath = "./ancestor::div[@class='item-list']/h3"),
        h4    = html_element(li, "h4"),
        phone = html_element(li, ".views-field-field-s-person-phone-display"),
        email = html_element(li, ".views-field-field-s-person-email")
      ) |> map(html_text, trim = TRUE)
  ) |> 
  bind_rows() |> 
  # do not display full contact details in a SO post
  mutate(across(everything(), \(x) stringr::str_trunc(x, 20)))
#> # A tibble: 270 × 4
#>    h3                   h4                   phone                email         
#>    <chr>                <chr>                <chr>                <chr>         
#>  1 Advanced Residenc... Sofia Gonzales       Phone:     (650) ... Email:     so…
#>  2 Aeronautics and A... Jenny Scholes        Phone:     (510) ... Email:     js…
#>  3 African & African... Ashante Johnson      Phone:     (650) ... Email:     as…
#>  4 Anesthes, Periop ... Natalie Darling-C... Phone:     (650) ... Email:     nd…
#>  5 Anesthes, Periop ... Ashley Johnson       Phone:     (650) ... Email:     as…
#>  6 Anesthes, Periop ... Jessica Martinez     Phone:     (650) ... Email:     ji…
#>  7 Anthropology         Julianne Spitler     Phone:     (650) ... Email:     js…
#>  8 Archaeology          Bilge Kucukdogan     Phone:     (650) ... Email:     bi…
#>  9 Bill Lane Center ... Vacant               <NA>                 <NA>          
#> 10 Biochemistry         Dan Carino           Phone:     (650) ... Email:     dp…
#> # ℹ 260 more rows

    De certa forma, é uma questão de preferência de estilo (bem... desempenho também), mas também podemos usar esses mesmos blocos de construção sem a iteração map()/ lapply(). Usar singular html_element()no contexto a seguir pode não soar muito intuitivo, mas há esse pedaço no doc:

    html_element()retorna um conjunto de nós do mesmo comprimento que a entrada

    Devo dizer que eu pessoalmente consegui ignorar isso até hoje.

    De qualquer forma, podemos obter um resultado idêntico ao exemplo anterior com:

    li <- html_elements(page, ".item-list > ul > li")
tibble(
  h3 = html_element(li, xpath = "./ancestor::div[@class='item-list']/h3") |> html_text(trim = TRUE),
  h4 = html_element(li, "h4") |> html_text(trim = TRUE),
  phone = html_element(li, ".views-field-field-s-person-phone-display") |> html_text(trim = TRUE),
  email = html_element(li, ".views-field-field-s-person-email") |> html_text(trim = TRUE)
)

    Becnhmark (observe segundos vs milissegundos):

    library(dplyr)
library(rvest)
library(purrr)

page <- read_html("https://postdocs.stanford.edu/about/department-postdoc-admins")
bm <- bench::mark(
  map_li = page |> 
    html_elements(".item-list > ul > li") |> 
    map(\(li) 
        list(
          h3    = html_element(li, xpath = "./ancestor::div[@class='item-list']/h3"),
          h4    = html_element(li, "h4"),
          phone = html_element(li, ".views-field-field-s-person-phone-display"),
          email = html_element(li, ".views-field-field-s-person-email")
        ) |> map(html_text, trim = TRUE)
    ) |> 
    bind_rows(),
  vec_li = {
    li <- html_elements(page, ".item-list > ul > li")
    tibble(
      h3 = html_element(li, xpath = "./ancestor::div[@class='item-list']/h3") |> html_text(trim = TRUE),
      h4 = html_element(li, "h4") |> html_text(trim = TRUE),
      phone = html_element(li, ".views-field-field-s-person-phone-display") |> html_text(trim = TRUE),
      email = html_element(li, ".views-field-field-s-person-email") |> html_text(trim = TRUE)
    )
  }, iterations = 10
)
bm  
#> # A tibble: 2 × 6
#>   expression      min   median `itr/sec` mem_alloc `gc/sec`
#>   <bch:expr> <bch:tm> <bch:tm>     <dbl> <bch:byt>    <dbl>
#> 1 map_li        1.16s    1.19s     0.842    16.5MB     8.50
#> 2 vec_li      33.63ms  34.95ms    27.5     227.2KB     5.50
ggplot2::autoplot(bm)

    • 2

relate perguntas