在使用PyQuery进行网页爬取时，默认发送的请求往往会携带默认的标识，很容易被目标站点识别为爬虫程序，导致请求被拦截或者返回异常内容。设置自定义User-Agent请求头是模拟正常浏览器访问的基础操作，能够有效提升请求的成功率。下面介绍几种在PyQuery中设置自定义User-Agent请求头的具体方法。
方法一：通过url请求时直接传递headers参数
PyQuery的PyQuery(url=...)构造方法支持直接传入headers参数，我们可以把自定义的User-Agent放在请求头字典中传递进去，这是最直接的使用方式。
from pyquery import PyQuery as pq
# 定义自定义请求头，包含User-Agent
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36"
}
# 发起请求时传入headers参数
doc = pq(url="http://ipipp.com/test", headers=headers)
# 打印页面标题验证请求是否成功
print(doc("title").text())
方法二：修改PyQuery的全局请求配置
如果需要多次发起请求且都使用相同的自定义User-Agent，可以修改PyQuery的全局请求配置，避免每次请求都重复传递headers参数。
from pyquery import PyQuery as pq
import pyquery
# 修改全局的请求头配置
pyquery.request_headers = {
"User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.0 Safari/605.1.15"
}
# 后续所有请求都会使用自定义的User-Agent
doc1 = pq(url="http://ipipp.com/page1")
doc2 = pq(url="http://ipipp.com/page2")
print(doc1("title").text())
print(doc2("title").text())
注意事项
设置User-Agent时需要注意以下几点：
- User-Agent字符串需要和真实浏览器的标识保持一致，不要使用过于老旧或者明显异常的标识，否则还是可能被识别。
- 如果目标站点还有其他反爬机制，仅设置User-Agent可能不够，还需要配合其他请求头参数比如Referer、Cookie等一起使用。
- 不要频繁使用同一个User-Agent发起大量请求，建议准备多个不同的User-Agent进行轮换，进一步降低被拦截的风险。
常见问题解答
设置后还是被拦截怎么办
可以先检查请求头是否真的生效，通过打印请求相关的信息确认User-Agent是否被正确传递。如果还是被拦截，可能是目标站点还有其他验证机制，比如IP限制、请求频率限制等，需要针对性调整爬取策略。
是否支持其他请求头参数
是的，除了User-Agent之外，其他请求头参数也可以放在headers字典中一起传递，比如设置Referer可以模拟从其他页面跳转过来的访问行为，设置Cookie可以维持登录状态等。
PyQueryUser-Agent请求头网络请求修改时间：2026-06-09 09:15:22