在使用Python的requests库抓取网页数据时，不少开发者都遇到过获取到的内容和浏览器中看到的不一致的情况，核心原因就是很多网页的核心数据是通过JavaScript动态加载的，requests只能拿到初始的静态HTML，无法执行JS脚本获取后续加载的内容。下面介绍几种常用的解决思路。
方案一：使用selenium模拟浏览器渲染
selenium是可以驱动真实浏览器或者无头浏览器执行操作的工具，能够完整模拟浏览器的渲染过程，获取到动态加载后的完整页面内容，适合对页面交互要求不高、只需要拿到最终渲染结果的场景。
首先需要安装selenium和对应浏览器的驱动，以Chrome为例，安装完成后可以使用以下代码获取动态加载后的页面：
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
import time
# 配置无头模式，不需要弹出浏览器窗口
chrome_options = Options()
chrome_options.add_argument('--headless')
chrome_options.add_argument('--disable-gpu')
# 初始化浏览器驱动，需要替换为你本地的chromedriver路径
driver = webdriver.Chrome(options=chrome_options)
# 打开目标网页
driver.get('https://ipipp.com/dynamic-page')
# 等待页面动态加载完成，可根据实际情况调整等待时间或改用显式等待
time.sleep(3)
# 获取渲染后的页面源码
page_source = driver.page_source
print(page_source)
# 关闭浏览器
driver.quit()这种方案的优点是上手简单，不需要分析网页的请求逻辑，基本能拿到所有可见的内容；缺点是资源消耗大，运行速度慢，不适合大规模高频次的爬取任务。
方案二：逆向分析动态加载接口
大部分动态加载的数据其实是通过异步接口请求返回的，我们可以打开浏览器的开发者工具，切换到Network面板，筛选XHR或者Fetch类型的请求，找到返回目标数据的接口，直接用requests模拟请求获取。
比如某个网页的动态列表数据是通过接口返回的JSON格式，我们可以先在开发者工具里找到请求的URL、请求头、请求参数，然后用requests模拟：
import requests
import json
# 从开发者工具里复制的接口地址
api_url = 'https://ipipp.com/api/get_dynamic_data'
# 复制请求头，尤其是Cookie、User-Agent等必要的字段
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36',
'Cookie': 'your_cookie_here'
}
# 复制请求参数，根据接口要求调整
params = {
'page': 1,
'size': 10
}
# 发送请求
response = requests.get(api_url, headers=headers, params=params)
# 解析返回的JSON数据
if response.status_code == 200:
data = response.json()
print(data)这种方案的优点是速度快、资源消耗低，适合大规模爬取；缺点是需要一定的逆向分析能力，部分接口可能有加密参数、反爬机制，需要额外处理。
方案三：使用pyppeteer/playwright等无头浏览器工具
如果不想用selenium，也可以选择更轻量的无头浏览器工具，比如pyppeteer（基于Chromium）或者playwright，它们不需要额外安装浏览器驱动，使用起来更便捷，性能也比selenium更好一些。
以pyppeteer为例，使用前先安装pyppeteer库，首次运行会自动下载Chromium，示例代码：
import asyncio
from pyppeteer import launch
async def get_dynamic_page():
# 启动浏览器，设置为无头模式
browser = await launch(headless=True)
page = await browser.newPage()
# 打开目标网页
await page.goto('https://ipipp.com/dynamic-page')
# 等待动态内容加载，这里等待某个特定元素出现，比固定等待更可靠
await page.waitForSelector('.dynamic-content')
# 获取页面内容
content = await page.content()
print(content)
await browser.close()
# 运行异步函数
asyncio.get_event_loop().run_until_complete(get_dynamic_page())这类工具兼顾了模拟浏览器渲染的能力和较好的性能，适合中等规模的爬取任务，也可以处理一些简单的页面交互场景。
方案选择建议
可以根据实际需求选择对应的方案：
- 如果是临时少量获取数据，对速度要求不高，优先选selenium，上手最快
- 如果是长期大规模爬取，优先尝试逆向接口，效率最高
- 如果接口有复杂反爬，或者需要处理页面交互，再选择pyppeteer这类无头浏览器工具
需要注意的是，爬取网页数据时要遵守网站的robots协议，不要对目标站点造成过大访问压力，避免触犯相关法规。