Início / coding / Perguntas / 79101222
Accepted
pgrad
Asked: 2024-10-18 16:26:15 +0800 CST

Corrigir next_req() para paginar uma solicitação de API usando httr2?

  • 772

Quero chamar iterativamente uma API paginada usando a função req_perform_iterative do httr2 , onde a resposta fornece uma próxima URL para solicitação.

No entanto, não consigo formar corretamente o next_req()argumento ou usar os auxiliares de iteração, como iterate_with_cursor(), e os exemplos na documentação são leves. No meu caso, preciso usar a próxima url em vez de deslocar o número da página, pois esse é o sistema de paginação da API que estou chamando.

Alguém poderia me ajudar a formar uma next_req()função correta?

Podemos usar a API do Rick and Morty como exemplo:

library(httr2)

# request a single page
req <- request("https://rickandmortyapi.com/api/character?page=1") |>
  req_perform() |>
  resp_body_json()

# return the url for the next page
next_url <- req$info$"next"

Como faço para transformar isso em uma req_perform_iterative()função funcional que retornará várias páginas? Obrigado!

1 respostas

  1. Best Answer

    Embora você possa usar iterate_with_cursor()aqui, seria melhor se nexto corpo da resposta tivesse apenas um número de página seguinte.

    Para este exemplo específico (URL completa para a próxima página no corpo da resposta), provavelmente é mais fácil simplesmente criar um novo auxiliar de iteração. Podemos usar um dos existentes como modelo:

    library(httr2)

# existing iteration helper, follows url found in the Link header:
iterate_with_link_url()
#> function (resp, req) 
#> {
#>     url <- resp_link_url(resp, rel)
#>     if (!is.null(url)) {
#>         req %>% req_url(url)
#>     }
#> }

# custom helper based on iterate_with_link_url(),
# follow next url from response body
iterate_with_body_info_next <- function(resp, req) {
  url <- resp_body_json(resp)$info$`next`
  if (!is.null(url)) {
    req %>% req_url(url)
  }
}

resps <- 
  request("https://rickandmortyapi.com/api/character") |> 
  req_perform_iterative(
    next_req = iterate_with_body_info_next,
    max_reqs = 3
)
resps
#> [[1]]
#> <httr2_response>
#> GET https://rickandmortyapi.com/api/character
#> Status: 200 OK
#> Content-Type: application/json
#> Body: In memory (19496 bytes)
#> 
#> [[2]]
#> <httr2_response>
#> GET https://rickandmortyapi.com/api/character?page=2
#> Status: 200 OK
#> Content-Type: application/json
#> Body: In memory (10380 bytes)
#> 
#> [[3]]
#> <httr2_response>
#> GET https://rickandmortyapi.com/api/character?page=3
#> Status: 200 OK
#> Content-Type: application/json
#> Body: In memory (9723 bytes)

# info object from the 1st request body
str(resp_body_json(resps[[1]])$info)
#> List of 4
#>  $ count: int 826
#>  $ pages: int 42
#>  $ next : chr "https://rickandmortyapi.com/api/character?page=2"
#>  $ prev : NULL

    Embora iterate_with_offset()também funcione bem, defina o parâmetro url que seria incrementado e uma função que extraia o número total de páginas da primeira resposta e você deve terminar com algo assim:

    request("https://rickandmortyapi.com/api/character") |> 
  req_perform_iterative(
    next_req = iterate_with_offset(
      param_name = "page",
      resp_pages = \(resp) resp_body_json(resp)$info$pages
    ),
    max_reqs = 3
  )

    Criado em 2024-10-18 com reprex v2.1.1

    • 0

relate perguntas