Início / coding / Perguntas / 78833889
Accepted
Julio640
Asked: 2024-08-05 18:02:56 +0800 CST

Web scraping em R, a página não responde à solicitação

  • 772

Na maioria das vezes não consigo fazer uma solicitação para o seguinte site:

https://www.adondevivir.com/proyectos-etapa-pre-venta-en-construccion.html

library(rvest);library(tibble);library(httr2)

base_url <- "https://www.adondevivir.com/proyectos-etapa-pre-venta-en-construccion.html"

parsed_base_url <- base_url |> 
  read_html()  # This works sometimes and I get the underlying html

# THIS NEVER WORKS
pagina_parsed <- base_url |> 
  request() |> 
  req_user_agent(
    "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/125.0.0.0 Safari/537.36"
  ) |> 
  req_headers(
    Referer = "https://www.adondevivir.com/",
    Accept = "text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8",
    `Accept-Language` = "es-419,es;q=0.6",
    `Accept-Encoding` = "gzip, deflate, br, zstd",
    `Cache-Control` = "max-age=0",
    `Sec-Ch-Ua` = '"Brave";v="125", "Chromium";v="125", "Not.A/Brand";v="24"',
    Priority = "u=0, i"
  ) |> 
  req_perform()

Por que não consigo fazer solicitações à página na maioria das vezes (nem mencionar que ela não funciona com httr2 com os cabeçalhos fornecidos acima)? Existe uma maneira de superar esse "problema" httr2? Isso tem a ver com cookies ou com a forma como a página está se protegendo de ser copiada?

Acho que poderia repetir a solicitação várias vezes até que funcionasse, mas acho que não aprenderia muito sobre o motivo pelo qual ela não funciona.

1 respostas

  1. Best Answer

    Isso tem a ver com cookies ou com a forma como a página está se protegendo de ser copiada?

    Ambos. É protegido pela Cloudflare, que passa por uma série de travessuras para confundir ferramentas automatizadas e navegadores sem cabeça. Se você abrir esse site em uma nova sessão ou no modo de navegação anônima do seu navegador, você deverá ver o desafio Cloudflare Javascript em ação. E se você tiver a guia de rede do DevTools aberta (com preservação de log ativada e talvez também com limitação para desacelerar um pouco as coisas), deverá ver algumas outras dicas sobre o que é investigado. Se a Cloudflare considerar sua solicitação legítima, os cookies serão configurados para conceder passagem durante sua sessão. Você pode reutilizá-los com httr2.

    A abordagem semimanual pode ser mais ou menos assim:

    • abra a página no seu navegador, acesse Cloudflare
    • navegue para o mesmo URL novamente com o DevTools aberto
    • copie a solicitação como cURL (clique com o botão esquerdo na solicitação na guia rede do DevTools)
    • passe parahttr2::curl_translate()
    library(rvest)
library(httr2)

# translate curl to httr2:
curl_translate(r"(curl 'https://www.adondevivir.com/proyectos-etapa-pre-venta-en-construccion.html' \
  -H 'accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8' \
  -H 'accept-language: en-GB,en;q=0.9' \
  -H 'cookie: __cf_bm=MbgHRAOsR8nrNwVtUAXzb0HMRrBSK4hbiiNtO3mg41A-1722860033-1.0.1.1-WvLWPer9d5s3PyuFjRZeCwyIRmiyELE5bs40JWH4Txc4OZXWvFUaSgqUbvbf_xYKnpePSYWv5GY4btcLBR_vvc6pt01F1sLPXt0QVrPolJk; sessionId=b5a7a506-4689-4188-88e7-fe005fc154ab; cf_clearance=vchooYPfzwbG.fmcao_YheRm7DPILRmr8xhNSWLUabQ-1722860102-1.0.1.1-tYQZHx6sTEzzRUS.UHz1rjZNq1a1VcSoOcn7l0EjRqbFeHNUwzsHyhTjW2R0RU_Tnv.6L5WbxxEy8m3xxcepaw' \
  -H 'priority: u=0, i' \
  -H 'sec-ch-ua: "Not)A;Brand";v="99", "Brave";v="127", "Chromium";v="127"' \
  -H 'sec-ch-ua-mobile: ?0' \
  -H 'sec-ch-ua-model: ""' \
  -H 'sec-ch-ua-platform: "Windows"' \
  -H 'sec-ch-ua-platform-version: "15.0.0"' \
  -H 'sec-fetch-dest: document' \
  -H 'sec-fetch-mode: navigate' \
  -H 'sec-fetch-site: none' \
  -H 'sec-fetch-user: ?1' \
  -H 'sec-gpc: 1' \
  -H 'upgrade-insecure-requests: 1' \
  -H 'user-agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/127.0.0.0 Safari/537.36')")
#> request("https://www.adondevivir.com/proyectos-etapa-pre-venta-en-construccion.html") |> 
#>   req_headers(
#>     accept = "text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8",
#>     `accept-language` = "en-GB,en;q=0.9",
#>     cookie = "__cf_bm=MbgHRAOsR8nrNwVtUAXzb0HMRrBSK4hbiiNtO3mg41A-1722860033-1.0.1.1-WvLWPer9d5s3PyuFjRZeCwyIRmiyELE5bs40JWH4Txc4OZXWvFUaSgqUbvbf_xYKnpePSYWv5GY4btcLBR_vvc6pt01F1sLPXt0QVrPolJk; sessionId=b5a7a506-4689-4188-88e7-fe005fc154ab; cf_clearance=vchooYPfzwbG.fmcao_YheRm7DPILRmr8xhNSWLUabQ-1722860102-1.0.1.1-tYQZHx6sTEzzRUS.UHz1rjZNq1a1VcSoOcn7l0EjRqbFeHNUwzsHyhTjW2R0RU_Tnv.6L5WbxxEy8m3xxcepaw",
#>     priority = "u=0, i",
#>     `sec-gpc` = "1",
#>     `upgrade-insecure-requests` = "1",
#>     `user-agent` = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/127.0.0.0 Safari/537.36",
#>   ) |> 
#>   req_perform()

# make request, parse html response 
request("https://www.adondevivir.com/proyectos-etapa-pre-venta-en-construccion.html") |> 
  req_headers(
    accept = "text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8",
    `accept-language` = "en-GB,en;q=0.9",
    cookie = "__cf_bm=MbgHRAOsR8nrNwVtUAXzb0HMRrBSK4hbiiNtO3mg41A-1722860033-1.0.1.1-WvLWPer9d5s3PyuFjRZeCwyIRmiyELE5bs40JWH4Txc4OZXWvFUaSgqUbvbf_xYKnpePSYWv5GY4btcLBR_vvc6pt01F1sLPXt0QVrPolJk; sessionId=b5a7a506-4689-4188-88e7-fe005fc154ab; cf_clearance=vchooYPfzwbG.fmcao_YheRm7DPILRmr8xhNSWLUabQ-1722860102-1.0.1.1-tYQZHx6sTEzzRUS.UHz1rjZNq1a1VcSoOcn7l0EjRqbFeHNUwzsHyhTjW2R0RU_Tnv.6L5WbxxEy8m3xxcepaw",
    priority = "u=0, i",
    `sec-gpc` = "1",
    `upgrade-insecure-requests` = "1",
    `user-agent` = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/127.0.0.0 Safari/537.36",
  ) |> 
  req_perform() |> 
  resp_body_html() |> 
  html_elements("h3[data-qa='POSTING_CARD_DESCRIPTION']") |> 
  html_text() |> 
  head() |> 
  stringr::str_trunc(80)
#> [1] "Vive en el distrito patriota de Lima, hogar de libertadores. Disfruta de una ..."  
#> [2] "Obra en curso - 47% vendido! Un proyecto inigualable ubicado en la zona monum..."  
#> [3] "¡Vive frente al Campo de Marte en Jesús María! Presentamos \"Salaverry 571\", u..."
#> [4] "¡Vive en la mejor zona de Surquillo! Lobby, Sala de niños, Sala de Usos Multi..."  
#> [5] "Grupo Lar, única inmobiliaria en Perú, con presencia en 5 países en simultáne..."  
#> [6] "Proyecto exclusivo en la Nueva Santa Catalina, a 5 minutos del centro financi..."

    Criado em 05/08/2024 com reprex v2.1.0

    • 4

relate perguntas