主页 / coding / 问题 / 78502577
Accepted
Chris Li
Asked: 2024-05-19 20:28:59 +0800 CST

Selenium 不可靠地返回查找到的元素

  • 772

我被困住了..这么多个小时..在这里查找了数百个问题和答案..

我想从银行产品网站 grep 数据，例如来自以下位置的“Delta”：

https://wertpapiere.ing.de/Investieren/Derivat/DE000HS2JL06

（链接将于 2024 年 9 月 17 日失效，因为产品届时将终止）

delta.text 应该是 -0,0193

第一次尝试：

delta = driver.find_element(By.XPATH, '//*[text()=\'Delta\']/following-sibling::td')

有时有效..大多数情况下无效..出于什么原因？情况可能是这样的：“Delta”在网站上出现了 10 次，但随后：

delta = driver.find_element(By.XPATH, '//*[text()=\'Delta\']/[5]following-sibling::td')

应该可以解决问题，但没有。

另一种尝试：

delta = driver.find_element(By.XPATH, '//td[contains(text(), "Delta")]/following-sibling::td')

应该可以，但也不行。

尝试使用完整路径应该可以解决问题：

delta = driver.find_element(By.XPATH, '/html/body/main/div[2]/div/div[2]/div[1]/sh-derivative-greeks/div/div[1]/div/table/tbody/tr[2]/td[2]')

但找不到该元素；我认为是因为网站生成的动态 ID。

有谁有决定性的提示吗？

非常感谢！克里斯

selenium-webdriver

1 个回答

  1. Best Answer

    该页面中的信息通过 XHR 调用提供给各种 API 端点。您可以在浏览器的开发工具 -> 网络选项卡中检查这些端点。以下是获得该特定delta值的方法：

    import requests
import pandas as pd

pd.set_option('display.max_columns', None)
pd.set_option('display.max_colwidth', None)

headers = {
'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/104.0.5112.79 Safari/537.36'
}

df = pd.json_normalize(requests.get('https://component-api.wertpapiere.ing.de/api/v1/derivative/greeks/DE000HS2JL06', headers=headers).json())
print(df[[x for x in df.columns if x not in ['description.value']]])

    终端结果：

    isin    isEmpty isVisible   description.label   delta.value delta.formatString  delta.formatType    delta.label gamma.value gamma.formatString  gamma.formatType    gamma.label theta.value theta.formatString  theta.formatType    theta.label vega.value  vega.formatString   vega.formatType vega.label  rho.value   rho.formatString    rho.formatType  rho.label   omega.value omega.formatString  omega.formatType    omega.label labels.title    labels.noInformationAvailable
0   DE000HS2JL06    False   True    Erklärung der Griechen  -0.0193 0,0.00[00]  Number  Delta   0.0003  0,0.00[00]  Number  Gamma   -0.003  0,0.00[00]  Number  Theta   0.0139  0,0.00[00]  Number  Vega    -0.0382 0,0.00[00]  Number  Rho -8.8416 0,0.00  Number  Omega (Hebel)   Griechen    Keine Informationen vorhanden

    可以在此处找到请求文档。

    编辑：如果您更喜欢硒：

    from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

chrome_options = Options()
chrome_options.add_argument("--no-sandbox")
chrome_options.add_argument('disable-notifications')
chrome_options.add_argument("window-size=1280,1080")

with webdriver.Chrome(options=chrome_options) as driver:
    wait = WebDriverWait(driver, 15)
    driver.get('https://wertpapiere.ing.de/Investieren/Derivat/DE000HS2JL06')
    delta_value = wait.until(EC.presence_of_element_located((By.XPATH, '//div[@class="sh-derivative-greeks"]//tr[@name="delta"]//td[@class="value"]'))).get_attribute('innerHTML')
    print(delta_value)

    终端结果：

    -0,0193

    Selenium 文档可以在这里找到。

    • 0

相关问题