Início / coding / Perguntas / 79593773
Accepted
Mahesh Kamath - Vendor
Asked: 2025-04-26 17:22:56 +0800 CST

Erro HttpsConnectionPool Selenium: ao colar 3000 IDs de uma coluna em um arquivo CSV usando Selenium no campo de entrada de uma URL. Funciona bem para 200 IDs.

  • 772

Estou usando o Selenium para automatizar o download de um relatório. Para isso, preciso colar cerca de 3.000 IDs em um loop para IDs em torno de 300.000 em um campo de entrada de uma página da web, clicar no botão de download e aguardar cerca de 40 segundos para que o relatório seja baixado. Depois disso, clicar no botão "Limpar" para limpar o campo de entrada e colar outros 3.000 valores (ou IDs) no campo de entrada e clicar em "Download" novamente. Repita a etapa até o final de todos os IDs extraídos de uma coluna de um dataframe.

Os ids são separados por vírgula.

Para fazer isso manualmente, leva cerca de 2 segundos para colar os valores (exatamente 3.000) e fazer o download. Depois, aguarde 40 segundos, limpe e cole outros 3.000 IDs. Repita o processo novamente.

Mas ao usar o script Selenium depois de fazer login na URL, fechar todos os pop-ups e selecionar a opção exata e, em seguida, ao entrar (ou usar input_filed.send_keys(ids) e input_field.send_keys(Keys.ENTER)), ocorre um erro de tempo limite em 120 segundos. Não tenho 120 segundos para esperar apenas para que o erro seja gerado, quando leva apenas 2 segundos manualmente.

o script funciona bem para IDs em torno de 200, mas não 3000. Quero que 3000 valores sejam colados para que o processo seja rápido.

Por favor, forneça uma solução.

Abaixo está o código que testei. Por favor, veja no final onde está o problema principal.

from selenium import webdriver
#you have to create instance wait
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.common.by import By
from selenium.webdriver.support import expected_conditions as EC

driver = webdriver.Chrome()
driver.get("MY URL")

wait = WebDriverWait(driver, 10)


try: 
    close_button = wait.until(EC.element_to_be_clickable((By.CSS_SELECTOR, "button.toast-close-button")))
    close_button.click()
    print("Popup Closed")
except Exception as e:
    print("No Popup appeared. or popup closed")
    print("Error: ", e)

try:
    username_input = wait.until(EC.presence_of_element_located((By.ID, "username")))
    username_input.send_keys("[email protected]")
    print("UserName Entered")
except Exception as e:
    print("Failed to enter Username")
    print("Error: ", e)


try: 
    password_input = wait.until(EC.presence_of_element_located((By.ID, "password")))
    password_input.send_keys("some_password")
    print("Password Entered")
except Exception as e:
    print("Failed to enter Password")
    print("Error: ",e)

try:
    submit_button = wait.until(EC.element_to_be_clickable((By.ID, "loginSubmit"))) 
    submit_button.click()
    print("Submit Button Clicked")
except Exception as e:
    print("Failed to click submit button")
    print("Error: ",e)


ids_option= WebDriverWait(driver, 10).until(
    EC.element_to_be_clickable((By.XPATH, '//*[@id="root"]/div/div/div[2]/div[2]/div[2]/div/div/div[1]/div/div/div/div/div[1]/div'))
)
ids_option.click()

option = WebDriverWait(driver, 10).until(
    EC.element_to_be_clickable((By.XPATH, '//div[text()="Option for Id selected"]'))
)
option.click()


input_click_target = WebDriverWait(driver, 10).until(
    EC.element_to_be_clickable((By.XPATH, '//*[@id="root"]/div/div/div[2]/div[2]/div[2]/div/div/div[2]/div/div[1]/div/div/div[1]/div[1]'))
)
input_click_target.click()



focused_input = WebDriverWait(driver, 10).until(
    lambda d: d.execute_script("return document.activeElement")
)


from selenium.webdriver.common.keys import Keys
focused_input.send_keys(id_string)        #comma seperated ids
focused_input.send_keys(Keys.ENTER)

Aqui, o erro aparece depois de uns 120 segundos. Se eu usar apenas 15 ou 200 IDs e inseri-los, funciona, mas não para 3000.

por favor forneça uma solução mais rápida

Tentei o código mencionado acima e esperava baixar arquivos csv individuais para 3000 IDs cada até o final dos IDs.

python

1 respostas

  1. Best Answer

    você está tentando colar 3000 IDs rapidamente em uma caixa de entrada usando Selenium, mas ele trava ou gera erros HttpsConnectionPool (tempo limite após 120 segundos) somente quando há muitos IDs (como 3000), mas funciona bem para números pequenos (como 200).

    Isso é muito comum porque: send_keys é muito lento para textos muito grandes. O navegador trava ao colar textos muito grandes por meio de simulações de pressionamento de tecla. O campo pode ser revalidado após cada pressionamento de tecla (o que é lento para milhares de caracteres). Operações relacionadas à rede (XHR/busca acionadas a cada alteração) expiram porque o navegador está ocupado ou travado.

    Solução: Use injeção de JavaScript (ignore send_keys lentos) Em vez de enviar milhares de pressionamentos de tecla, defina o valor diretamente via JavaScript.

    Aqui está a solução melhorada:

    # Instead of send_keys
driver.execute_script("arguments[0].value = arguments[1];", focused_input, id_string)

# If needed, trigger an input event manually
driver.execute_script("""
var input = arguments[0];
var lastValue = input.value;
input.value = arguments[1];
var event = new Event('input', { bubbles: true });
event.simulated = true;
input._valueTracker && input._valueTracker.setValue(lastValue);
input.dispatchEvent(event);
""", focused_input, id_string)

    Explicação:

    • arguments[0] é o elemento de entrada que você tem.
    • arguments[1] é sua string separada por vírgulas de 3000 IDs.
    • Em seguida, ele envia um evento de entrada, fingindo que foi digitado por um usuário; alguns aplicativos dependem disso para validação posterior.

    Modifique esta parte:

    # Instead of:
# focused_input.send_keys(id_string)
# focused_input.send_keys(Keys.ENTER)

# Use:
driver.execute_script("arguments[0].value = arguments[1];", focused_input, id_string)

# Optionally trigger input event if needed (for apps that listen to 'input' event)
driver.execute_script("""
var input = arguments[0];
var lastValue = input.value;
input.value = arguments[1];
var event = new Event('input', { bubbles: true });
event.simulated = true;
input._valueTracker && input._valueTracker.setValue(lastValue);
input.dispatchEvent(event);
""", focused_input, id_string)

# Then manually click the download button or submit
    • 1

relate perguntas