在使用Python Scrapy框架进行网页数据采集时，很多网站会通过检测请求的User-Agent字段来判断请求是否来自真实浏览器，如果是固定的爬虫UA很容易被拦截。通过自定义下载器中间件实现随机更换UA，是突破这类反爬的有效方式。
什么是Scrapy下载器中间件
下载器中间件是Scrapy框架中位于引擎和下载器之间的钩子组件，每个请求在发送给下载器之前，以及每个响应从下载器返回给引擎之前，都会经过下载器中间件的处理。我们可以利用这个特性，在请求发送前修改请求头中的UA信息。
下载器中间件的核心方法
自定义下载器中间件需要实现process_request方法，该方法会在每个请求被处理前调用，我们可以在这个方法里修改请求的headers属性。
实现随机UA的步骤
1. 准备UA列表
首先需要收集一批真实浏览器的User-Agent字符串，存放在一个列表中，后续从中随机选取即可。以下是常见的浏览器UA示例：
# UA列表，包含常见浏览器的User-Agent
USER_AGENT_LIST = [
"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36",
"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/16.5 Safari/605.1.15",
"Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:109.0) Gecko/20100101 Firefox/115.0",
"Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36",
"Mozilla/5.0 (iPhone; CPU iPhone OS 16_5 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/16.5 Mobile/15E148 Safari/604.1"
]
2. 编写自定义下载器中间件
在Scrapy项目的middlewares.py文件中，新建一个自定义中间件类，继承object，实现process_request方法，从UA列表中随机选取一个UA赋值给请求的headers。
import random
from scrapy import signals
class RandomUserAgentMiddleware(object):
# UA列表，也可以从外部文件导入
USER_AGENT_LIST = [
"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36",
"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/16.5 Safari/605.1.15",
"Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:109.0) Gecko/20100101 Firefox/115.0",
"Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36",
"Mozilla/5.0 (iPhone; CPU iPhone OS 16_5 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/16.5 Mobile/15E148 Safari/604.1"
]
def process_request(self, request, spider):
# 随机选取一个UA
random_ua = random.choice(self.USER_AGENT_LIST)
# 设置请求的User-Agent头
request.headers["User-Agent"] = random_ua
# 返回None表示继续处理该请求
return None
3. 配置中间件生效
打开Scrapy项目的settings.py文件，找到DOWNLOADER_MIDDLEWARES配置项，如果没有就手动添加，将自定义的随机UA中间件添加到配置中，注意设置优先级，数值越小优先级越高，建议设置在400-600之间，避免和默认中间件冲突。
# settings.py中配置下载器中间件
DOWNLOADER_MIDDLEWARES = {
# 禁用默认的UserAgent中间件，避免冲突
"scrapy.downloadermiddlewares.useragent.UserAgentMiddleware": None,
# 启用自定义的随机UA中间件，后面的数字是优先级
"你的项目名.middlewares.RandomUserAgentMiddleware": 400,
}
验证随机UA是否生效
可以在Spider的parse方法中打印请求的headers，查看每次请求的User-Agent是否随机变化：
import scrapy
class TestSpider(scrapy.Spider):
name = "test"
start_urls = ["https://httpbin.org/headers"] # 该接口会返回请求的headers信息
def parse(self, response):
# 打印返回的headers信息，查看User-Agent
print(response.json())
yield {
"user_agent": response.json().get("headers", {}).get("User-Agent")
}
运行爬虫后，多次请求返回的结果中User-Agent字段会随机变化，说明随机UA中间件已经生效。
注意事项
- UA列表需要定期更新，避免使用过旧的浏览器UA被网站识别
- 如果网站还有其他反爬措施，比如IP限制，可以结合代理中间件一起使用
- 不要设置过高的请求频率，即使更换了UA，过高的请求频率还是容易被封禁
- 如果需要更真实的UA，可以从用户真实的请求日志中收集，或者使用第三方UA库动态获取
ScrapyDownloader_Middleware随机UA反爬突破Python修改时间：2026-07-23 02:00:37