BeautifulSoup是Python中常用的网页解析库，它擅长处理静态HTML内容，通过解析标签结构快速提取数据。但很多现代网页采用动态渲染技术，页面内容通过JavaScript异步加载，初始返回的HTML源码中并不包含这些动态内容，此时BeautifulSoup就无法直接获取到需要的数据，这是它最明显的局限。
BeautifulSoup处理动态网页的局限分析
BeautifulSoup本身只负责解析已有的HTML字符串，它不会执行页面中的JavaScript代码。当访问一个动态网页时，流程通常是先获取初始HTML，然后浏览器执行JS代码请求后端接口，再将返回的数据插入到页面DOM中。而使用requests等库直接请求网页时，只能拿到初始HTML，BeautifulSoup解析这个初始HTML自然得不到动态加载的内容。
比如下面这个简单的动态页面，初始HTML中只有一个空的<div>容器，内容由JS后续填充：
<!DOCTYPE html>
<html>
<head>
<title>动态页面示例</title>
</head>
<body>
<div id="content"></div>
<script>
// 模拟异步加载数据
setTimeout(() => {
document.getElementById("content").innerHTML = "动态加载的内容";
}, 1000);
</script>
</body>
</html>
用BeautifulSoup解析这个页面的初始源码，得到的<div id="content">内容是空的，无法拿到动态加载的文本。
克服局限的常用方案
方案一：使用Selenium模拟浏览器执行
Selenium可以启动真实的浏览器或者无头浏览器，执行页面中的JavaScript代码，等待动态内容加载完成后再获取页面源码，这样就能拿到完整的渲染后的HTML，再交给BeautifulSoup解析。
首先需要安装selenium和对应浏览器的驱动，以Chrome为例，安装命令如下：
pip install selenium
下面是完整的抓取示例：
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from bs4 import BeautifulSoup
import time
# 配置无头浏览器选项
chrome_options = Options()
chrome_options.add_argument("--headless")
chrome_options.add_argument("--disable-gpu")
# 初始化浏览器驱动，需要替换为你的chromedriver路径
driver = webdriver.Chrome(options=chrome_options)
# 访问目标动态网页
driver.get("http://ipipp.com/dynamic_page")
# 等待动态内容加载完成，这里等待2秒，实际可以根据需求调整
time.sleep(2)
# 获取渲染后的页面源码
page_source = driver.page_source
# 关闭浏览器
driver.quit()
# 用BeautifulSoup解析渲染后的源码
soup = BeautifulSoup(page_source, "html.parser")
content_div = soup.find("div", id="content")
print(content_div.text) # 输出：动态加载的内容
方案二：使用requests-html渲染页面
requests-html是基于requests和pyppeteer封装的库，内置了页面渲染功能，使用起来比Selenium更轻量，不需要单独安装浏览器驱动。
安装命令如下：
pip install requests-html
抓取示例如下：
from requests_html import HTMLSession
from bs4 import BeautifulSoup
# 创建会话
session = HTMLSession()
# 发送请求并渲染页面
response = session.get("http://ipipp.com/dynamic_page")
# 执行页面中的JavaScript，等待动态内容加载
response.html.render(timeout=10)
# 获取渲染后的HTML
page_source = response.html.html
# 用BeautifulSoup解析
soup = BeautifulSoup(page_source, "html.parser")
content_div = soup.find("div", id="content")
print(content_div.text) # 输出：动态加载的内容
# 关闭会话
session.close()
两种方案的对比
可以通过下面的表格选择适合自己场景的方案：
| 方案 | 优点 | 缺点 | 适用场景 |
|---|---|---|---|
| Selenium | 兼容性好，支持所有动态渲染场景，可模拟用户操作 | 资源占用高，运行速度慢 | 需要模拟点击、滚动等用户操作的复杂动态页面 |
| requests-html | 轻量，安装简单，运行速度快 | 兼容性稍弱，部分复杂JS场景可能渲染失败 | 简单的动态加载页面，不需要复杂交互的场景 |
注意事项
- 动态网页抓取需要遵守目标网站的robots协议，不要频繁请求给服务器造成压力
- 等待动态内容加载时要设置合理的超时时间，避免等待过久或者等待不足
- 如果动态内容是通过接口直接返回的，也可以尝试直接抓取接口，效率比渲染页面更高
通过上述方案，就可以有效克服BeautifulSoup无法处理动态网页的局限，实现各类动态网页的数据抓取需求。
Python动态网页抓取BeautifulSoupselenium动态渲染修改时间：2026-07-22 15:27:28