Início / coding / Perguntas / 78161875
Accepted
M. Beausoleil
Asked: 2024-03-15 00:05:28 +0800 CST

Extraia informações hierárquicas do cabeçalho (h2, h3, tabelas) com descanso

  • 772

Neste site https://www.quebec.ca/agriculture-environnement-et-ressources-naturelles/faune/gestion-faune-habitats-fauniques/especes-fauniques-menacees-vulnerables/liste , existem tabelas de espécies que eu gostaria de extrair.

library(rvest)
sp.list = "https://www.quebec.ca/agriculture-environnement-et-ressources-naturelles/faune/gestion-faune-habitats-fauniques/especes-fauniques-menacees-vulnerables/liste"
# Get website
wp.list = read_html(species.list)
# Extract name of sections
headers = wp.list %>%  html_elements("h3") %>% html_text2() %>%   .[1:24]
# Get tables
tab = read_html(sp.list) %>% html_table(header = TRUE)
# Name tables
names(tab) = headers
# Combine tables
tab.gr = dplyr::bind_rows(tab, .id = "group")

Que dá:

tab.gr
# A tibble: 180 × 3
   group      Espèce                     `Nom latin`             
   <chr>      <chr>                      <chr>                   
 1 Mollusques Anodonte du gaspareau      Utterbackiana implicata 
 2 Mollusques Obovarie olivâtre          Obovaria olivaria       
 3 Insectes   Bourdon à tache rousse     Bombus affinis          
 4 Insectes   Coccinelle à neuf points   Coccinella novemnotata

Consegui obter os cabeçalhos das seções h2, mas não consigo associá-los a cada h3seção

get.section = wp.list %>%  html_nodes('.frame, .frame-default, .frame-type-textmedia, .frame-layout-0')
pas.dans.cette.page = !grepl(pattern = "Dans cette", x = get.section)
subset.listes = get.section[pas.dans.cette.page]
sections.tables = subset.listes[grep(pattern = "Liste des esp", x = subset.listes)]
sections.tables %>%  html_elements("h2") %>%   html_text2()
[1] "Liste des espèces menacées"                                                   
[2] "Liste des espèces vulnérables"                                                
[3] "Liste des espèces susceptibles d’être désignées comme menacées ou vulnérables"

Como então eu poderia obter o cabeçalho (por exemplo, "Liste des espèces menacées") e seus grupos (por exemplo, "Mollusques") com suas tabelas?

1 respostas

  1. Best Answer

    rvesté construído sobre o xml2, portanto, conhecer alguns XPath e alguns xml2truques (um tanto não intuitivos) pode ser útil aqui. Por exemplo, podemos construir um vetor de seções que corresponda à nossa lista de elementos de tabela procurando por um <h2>elemento que precedeu cada uma dessas tabelas, basicamente usando elementos de tabela como pontos de ancoragem e retornando a árvore HTML de cada uma delas. À medida que a estrutura da página muda para a última seção, precisamos ajustar um pouco as táticas para as últimas mesas, mas a mesma estratégia ainda se aplica.

    Outra opção seria iterar cada seção (ou seja, processar apenas tabelas naquela seção específica), mas por causa dessa mudança estrutural é um pouco menos adequado aqui.

    library(rvest)
library(dplyr)
library(purrr)

url_ <- "https://www.quebec.ca/agriculture-environnement-et-ressources-naturelles/faune/gestion-faune-habitats-fauniques/especes-fauniques-menacees-vulnerables/liste"
html <- read_html(url_)

# table elements
table_elements <- html_elements(html, "table")

# for each table element, find an ancestor with h2, extract that
# some will be missing (NA), but the resulting vector still
# aligns with table element list
sections <- 
  html_element(table_elements, xpath = "./ancestor::div[h2]/h2") |> 
  html_text(trim = TRUE)

# for the last section page structure changes; for those tables, find
# ancestor that contains a class with 'frame', from there find a 
# preceding sibling that includes h2
sections[is.na(sections)] <- 
  table_elements[is.na(sections)] |> 
  html_element(xpath = "./ancestor::div[contains(@class, 'frame')]/preceding-sibling::div[h2][1]/h2") |> 
  html_text(trim = TRUE)

# captions are included in table elements
groups_ <- html_element(table_elements, "caption") |> html_text()

# process all previuos objects in parallel
pmap(list(table_elements, sections, groups_), 
     \(t_, s_, g_) html_table(t_) |> mutate(section = s_, group = g_, .before = 1)) |>
  list_rbind()

    Resultado:

    #> # A tibble: 180 × 4
#>    section                    group      Espèce                     `Nom latin` 
#>    <chr>                      <chr>      <chr>                      <chr>       
#>  1 Liste des espèces menacées Mollusques Anodonte du gaspareau      Utterbackia…
#>  2 Liste des espèces menacées Mollusques Obovarie olivâtre          Obovaria ol…
#>  3 Liste des espèces menacées Insectes   Bourdon à tache rousse     Bombus affi…
#>  4 Liste des espèces menacées Insectes   Coccinelle à neuf points   Coccinella …
#>  5 Liste des espèces menacées Insectes   Cuivré des marais salés    Lycaena dos…
#>  6 Liste des espèces menacées Insectes   Satyre fauve des Maritimes Coenonympha…
#>  7 Liste des espèces menacées Poissons   Chabot de profondeur       Myoxocephal…
#>  8 Liste des espèces menacées Poissons   Chevalier cuivré           Moxostoma h…
#>  9 Liste des espèces menacées Poissons   Cisco de printemps         Coregonus a…
#> 10 Liste des espèces menacées Poissons   Dard de sable              Ammocrypta …
#> # ℹ 170 more rows

    Criado em 14/03/2024 com reprex v2.1.0

    • 1

relate perguntas