Início / coding / Perguntas / 79562472
Accepted
AmyTheGhostHunter
Asked: 2025-04-08 23:29:13 +0800 CST

Ponto de extremidade XHR retornando apenas dados da página de carregamento

  • 772

Desejo acessar as tabelas do seguinte site:

https://www.marketbeat.com/ratings/

No entanto, as páginas só podem ser alteradas definindo a "Data do Relatório".

Eu sei que posso alterar a data via automação do navegador... mas é muito lento e fiquei curioso para saber se existe uma maneira mais rápida. Tentei acessar o endpoint XHR, mas o payload para a data não está funcionando.

Ao inspecionar a aba Rede, vejo que há uma solicitação de postagem XHR. No entanto, se eu tentar solicitar o endpoint com um payload que define a data, recebo apenas dados do dia atual, como se eu não tivesse definido uma data. Acho que o payload não está funcionando corretamente.

from bs4 import BeautifulSoup
import pandas as pd
import requests

payload = {
  "ctl00$cphPrimaryContent$txtStartDate": "09/17/2024",
}
r = requests.post('https://www.marketbeat.com/ratings/', json=payload)
soup = BeautifulSoup(r.text, 'html.parser')
tables = pd.read_html(str(soup))

Posso estar enganado e esse ponto final é de alguma forma oculto ou somente para uso interno?

Além disso, se eu usar o Selenium para alterar a "Data do Relatório", depois de usar .clear() no input_element, a página será recarregada, outro element_id será atribuído ao campo de entrada e o valor não será apagado, mas redefinido para seu valor inicial.

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys


driver = webdriver.Chrome()
driver.get('https://www.marketbeat.com/ratings/')

input_element = driver.find_element(By.ID, "cphPrimaryContent_txtStartDate")#.sendKeys("value", "1/1/2023");

if(input_element.is_displayed()):
    input_element.clear()
    input_element.send_keys("1/1/2023")

Então isso também não funciona. Qualquer sugestão seria super útil. Obrigado.

python

1 respostas

  1. Best Answer

    Com requestsisso precisa de mais obras.

    Primeiro ele envia como FORMprecisa data=payloadem vez dejson=payload

    Mas ele também precisa de outros valores no payload.
    Não testei se ele precisa de todos os valores, mas o navegador envia todos eles.

    payload["__EVENTTARGET"] = "ctl00$cphPrimaryContent$txtStartDate"
payload["ctl00$cphPrimaryContent$txtStartDate"] = "4/7/2025"
payload["ctl00$cphPrimaryContent$ScriptManagerTwo"] = "ctl00$cphPrimaryContent$pnlUpdate|ctl00$cphPrimaryContent$txtStartDate"
payload["ctl00$cphPrimaryContent$ddlMarketCap"] = "A"
payload["ctl00$cphPrimaryContent$ddlActionTaken"] = "All Actions"
payload["ctl00$cphPrimaryContent$ddlRating"] = "All Ratings"
payload["OnPageRegistrationEmail"] =""
payload["txtRegistrationEmail"] =""
payload["ctl00$txtLoginOnModalEmail"] = ""
payload["ctl00$txtLoginOnModalPassword"] = ""
payload["ctl00$txtCreateOnModalEmail"] = ""
payload["ctl00$txtCreateOnModalPassword"] = ""
payload["__ASYNCPOST"] = "true"
payload[""] = ""

    Também precisa de outros valores que provavelmente podem mudar quando você recarrega a página.
    Primeiro: eu uso Sessiona GETpágina principal com Cookies.

    session = requests.Session()
session.headers.update({'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64; rv:137.0) Gecko/20100101 Firefox/137.0'})

response = session.get('https://www.marketbeat.com/ratings/')

    Segundo: Eu também o uso para obter valores de todos <input>que começam com__

    soup = BeautifulSoup(response.text, 'lxml')
inputs = soup.find_all('form')[1].find_all('input')

payload = dict()

for item in inputs:
    name = item['name']
    if name.startswith(('__')): #, 'ctl')):
        value = item.attrs.get('value', "")
        print(name, '==>', value)
        payload[name] = value

    Ele também precisa de um cabeçalho X-MicrosoftAjaxpara enviar novos valores.

    Às vezes, a conexão trava quando não tenho, User-Agentmas não tenho certeza se realmente preciso. Mas o servidor pode usar esse valor para detectar se é um navegador real, então eu o mantenho.

    headers = {
    # it seems it may hang connection without `User-Agent` (it can be set here or in session at the beginning)
    'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64; rv:137.0) Gecko/20100101 Firefox/137.0',
    # 'Referer': 'https://www.marketbeat.com/ratings/',
    # 'X-Requested-With': 'XMLHttpRequest',
    'X-MicrosoftAjax': 'Delta=true'
}

    Ele envia apenas esta parte que precisa ser substituída em HTML no navegador (mais alguns valores separados por |), mas read_htmlcarrega sem problemas.

    Código funcional completo que usei para testes.

    import io
import requests
import pandas as pd
from bs4 import BeautifulSoup

# --- use Session to have all Cookies ---

session = requests.Session()
session.headers.update({'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64; rv:137.0) Gecko/20100101 Firefox/137.0'})

# --- get form with some variables needed in next request ---

url = 'https://www.marketbeat.com/ratings/'

response = session.get(url)
#print('--- response ---')
#print(response.status_code)
#print('--- end ---')

# --- search variables starting with __ ---

soup = BeautifulSoup(response.text, 'lxml')
inputs = soup.find_all('form')[1].find_all('input')

payload = dict()

for item in inputs:
    name = item['name']
    if name.startswith(('__')): #, 'ctl')):
        value = item.attrs.get('value', "")
        print(name, '==>', value)
        payload[name] = value

# --- add new values ---

payload["__EVENTTARGET"] = "ctl00$cphPrimaryContent$txtStartDate"
payload["ctl00$cphPrimaryContent$txtStartDate"] = "4/7/2025"
payload["ctl00$cphPrimaryContent$ScriptManagerTwo"] = "ctl00$cphPrimaryContent$pnlUpdate|ctl00$cphPrimaryContent$txtStartDate"
payload["ctl00$cphPrimaryContent$ddlMarketCap"] = "A"
payload["ctl00$cphPrimaryContent$ddlActionTaken"] = "All Actions"
payload["ctl00$cphPrimaryContent$ddlRating"] = "All Ratings"
payload["OnPageRegistrationEmail"] =""
payload["txtRegistrationEmail"] =""
payload["ctl00$txtLoginOnModalEmail"] = ""
payload["ctl00$txtLoginOnModalPassword"] = ""
payload["ctl00$txtCreateOnModalEmail"] = ""
payload["ctl00$txtCreateOnModalPassword"] = ""
payload["__ASYNCPOST"] = "true"
payload[""] = ""

print('--- payload ---')
for key, val in payload.items():
    print(key, '==>', val)

# --- needed headers ---

headers = {
    # it seems it may hang connection without `User-Agent` (it can be set here or in session at the beginning)
    'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64; rv:137.0) Gecko/20100101 Firefox/137.0',
    # 'Referer': 'https://www.marketbeat.com/ratings/',
    # 'X-Requested-With': 'XMLHttpRequest',
    'X-MicrosoftAjax': 'Delta=true'
}

# --- send POST ---

response = session.post(url, data=payload, headers=headers)
print('--- response ---')
print(response.status_code)
#print(response.text[:2000])  # display only part to check if it sends expected data
print('--- end ---')

# --- get it as DataFrame ---

tables = pd.read_html(io.StringIO(response.text))
#print('len(tables):', len(tables))
print(tables[0])
    • 0

relate perguntas