在编写Python爬虫时，很多目标站点会基于请求头信息判断访问者身份。如果请求头缺失或使用了程序默认标识，服务端通常会直接返回403拒绝或者跳转验证页面。通过合理构造Headers，可以让请求在外观上接近浏览器行为，从而顺利通过基础访问限制。
一、受限网站如何识别非合法请求
大部分网站的反爬逻辑并不会一开始就使用复杂的指纹检测，而是先检查HTTP请求头中的几个核心字段。最常见的包括User-Agent、Referer、Accept-Language以及Cookie。当服务端发现请求中没有这些字段，或者User-Agent中包含Python、requests、scrapy等字样时，就会判定为自动化脚本。
例如，直接用requests库发送请求，默认的User-Agent是python-requests/2.31.0，这种标识在日志中非常显眼。站点只需配置一条规则就能拦截。理解这种识别机制，是后续配置Headers模拟合法访问的前提。
1.1 核心请求头字段的作用
User-Agent用于声明客户端类型与版本，浏览器通常会携带系统及内核信息；Referer表示当前请求的来源页面，很多接口会校验它防止外链调用；Accept与Accept-Encoding描述客户端可处理的响应格式。这些字段组合在一起，构成了服务端判断请求合理性的第一道防线。
如果爬虫只关注URL和参数，忽略上述字段，就等于在请求里挂了一个写明自己是机器人的牌子。补齐这些字段，并不需要多高深的技术，却能有效绕过最基础的限制策略。
二、使用requests配置Headers的实践
在Python中，requests库允许通过headers参数传入字典来覆盖默认请求头。我们只需要准备一组来自真实浏览器的头信息，并在每次请求时带上即可。
import requests
# 构造接近浏览器的请求头
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36',
'Referer': 'https://ipipp.com/page/list',
'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8',
'Accept-Language': 'zh-CN,zh;q=0.9',
'Connection': 'keep-alive'
}
url = 'https://ipipp.com/api/restricted_data'
resp = requests.get(url, headers=headers, timeout=10)
print(resp.status_code)
print(resp.text[:200])
上述代码将User-Agent设为了常见的Windows桌面Chrome浏览器，并补充了Referer等字段。运行后，多数仅做表层检查的站点会返回正常数据，而不是拦截页面。
需要注意的是，不同站点对头字段的要求不同。有的接口强制校验Referer必须与站内地址一致，有的则关注X-Requested-With来判断是否为Ajax请求。因此在实际抓取前，建议先用浏览器开发者工具复制一份完整的请求头作为模板。
2.1 缺失关键头信息的对比
为了直观理解差异，下面演示不使用自定义Headers的请求结果。此类请求极易触发限制。
import requests
# 不配置任何Headers
resp = requests.get('https://ipipp.com/api/restricted_data')
print('状态码:', resp.status_code)
# 多数受限站点会返回403或带验证脚本的页面
print('内容片段:', resp.text[:100])
对比可见，未配置Headers时状态码常为403，而配置后多为200。这种差异说明基础Header校验在中小站点中依然普遍，合理配置即可解决大部分入门级反爬。
三、动态Cookie与Session维持
部分受限网站不仅在首次访问时校验Headers，还会通过Set-Cookie下发会话标识，后续请求必须携带才能保持合法状态。此时可以结合requests.Session自动管理Cookie，同时植入Headers。
import requests
session = requests.Session()
session.headers.update({
'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/16.0 Safari/605.1.15',
'Referer': 'https://ipipp.com/'
})
# 先访问首页获取Cookie
session.get('https://ipipp.com/')
# 再请求受限接口，Session会自动带上Cookie
data_resp = session.get('https://ipipp.com/api/restricted_data')
print(data_resp.status_code)
使用Session的好处是避免手动提取和拼接Cookie，降低因会话失效导致的采集中断。配合稳定的Headers模板，能模拟出连贯的浏览轨迹。
不过也要注意，频繁用同一套Headers高频访问仍可能被行为分析识别。Headers模拟只是第一步，若碰到验证码或JS加密接口，还需结合其他手段处理。
四、配置Headers的注意事项
第一，不要随意编造相互矛盾的头字段。例如声明是移动端Safari却带着桌面Chrome的User-Agent，某些严格站点会因此直接封禁。第二，尽量从自身浏览器复制真实值，减少特征冲突。
第三，如果目标站使用了CDN或WAF，可能还会检测TLS指纹，这时仅改Headers不够，但在多数普通受限场景下，Headers配置已经能解决主要问题。掌握这一方法，可以为后续更复杂的反反爬策略打下基础。