主页 / coding / 问题 / 79296352
Accepted
Dinasour
Asked: 2024-12-20 14:25:06 +0800 CST

使用 BeautifulSoup 点击 div 标签后抓取 html 页面

  • 772

我在从网站上抓取问题和答案时遇到了一些麻烦：

https://tech12h.com/bai-hoc/trac-nghiem-lich-su-12-bai-1-su-hinh-thanh-trat-tu-gioi-moi-sau-chien-tranh-gioi-thu-哈伊

问题是，只有当我单击 div Xem đáp án（向下滚动到末尾）时才会出现答案，但它不是一个链接，它只是一个 div，我猜它使用 Javascript 事件触发器在单击 div 后呈现内容。

我该如何使用 Beautifulsoup 来解决这个问题。我在 Ubuntu 上使用 Selenium 时遇到了驱动程序冲突问题。

谢谢

javascript

2 个回答

  1. Best Answer

    您不需要明确下载 Chrome 驱动程序。现代 selenium 版本可以为您处理。

    因此，您所需要的只是：

    from selenium import webdriver
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import By
from selenium.webdriver.remote.webelement import WebElement
from collections.abc import Iterable

OPTIONS = webdriver.ChromeOptions()
OPTIONS.add_argument("--headless=true")

URL = "https://tech12h.com/bai-hoc/trac-nghiem-lich-su-12-bai-1-su-hinh-thanh-trat-tu-gioi-moi-sau-chien-tranh-gioi-thu-hai"

CSS_P = "#accordionExample > p"
CSS_L = "#accordionExample > ul li"

def etext(e: WebElement) -> str:
    if t := e.text:
        return t.strip()
    p = e.get_property("textContent")
    if isinstance(p, str):
        return p.strip()
    return ""

def get_common(driver: webdriver.Chrome, css: str) -> Iterable[str]:
    wait = WebDriverWait(driver, 10)
    ec = EC.presence_of_all_elements_located
    selector = By.CSS_SELECTOR, css
    yield from map(etext, wait.until(ec(selector)))

def chunks(items: list[str], chunk=4) -> Iterable[list[str]]:
    for i in range(0, len(items), chunk):
        yield items[i : i + chunk]

if __name__ == "__main__":
    with webdriver.Chrome(OPTIONS) as driver:
        driver.get(URL)
        questions = list(get_common(driver, CSS_P))
        answers = list(get_common(driver, CSS_L))
        assert len(questions) * 4 == len(answers)
        qanda = dict(zip(questions, chunks(answers)))
        for k, v in qanda.items():
            print(k)
            for a in v:
                print(f"\t{a}")

    输出（部分）：

    Câu 1: Để kết thúc nhanh chiến tranh ở châu Âu và châu Á - Thái Bình - Dương, ba cường quốc đã thống nhất mục đích gì?
        A. Sử dụng bom nguyên tử để tiêu diệt phát xít Nhật.
        B. Hồng quân Liên Xô nhanh chóng tấn công vào tận sào huyệt của phát xít Đức ở Bec-lin.
        C. Tiêu diệt tận gốc chủ nghĩa phát xít Đức và quân phiệt Nhật.
        D. Tất cả các mục đích trên.
Câu 2: Sự kiện nào dẫn đến thành lập nước Cộng hòa Liên bang Đức?
        A. Nước Đức được hòan toàn thống nhất.
        B. Nước Đức đã tiêu diệt tận gốc chủ nghĩa phát xít.
        C. Mĩ, Anh, Pháp hợp nhất các vùng chiếm đóng.
        D. Tất cả các sự kiện trên.
    • 1

  2. 我终于解决了这个问题！

    由于 chrome 应用程序版本和 chrome 驱动程序版本（位于usr/local/bin）之间存在冲突，我无法运行该驱动程序。

    我发现这个存储库包含我的 chrome 应用程序版本：https://github.com/dreamshao/chromedriver

    我下载了适合我的版本并放在usr/local/bin文件夹中。

    • -1

相关问题