在使用Python的Requests库进行网络请求时，部分网站会对请求的来源进行校验，当检测到请求不符合预期时就会返回403错误或者返回空数据，其中Referer头就是这类校验中非常常见的参数。Referer头的作用是告诉服务器当前请求是从哪个页面跳转过来的，很多网站会通过这个头来判断请求是否为正常的用户访问，而非自动化脚本请求。
Referer头的基本原理
HTTP协议中的Referer头属于请求头的一部分，当我们在浏览器中点击一个链接跳转到新页面时，浏览器会自动在新请求的请求头中加上Referer字段，值就是当前页面的URL。部分网站的反爬机制会校验这个字段，如果请求中没有Referer头，或者Referer头的值不符合预期，就会拒绝请求。
比如有些网站的静态资源、接口仅允许从本站页面发起的请求访问，这时候如果直接用Requests发起请求，因为没有携带正确的Referer头，就会被服务器拦截。
Requests中设置Referer头的方法
在Requests中设置请求头非常简单，只需要在发送请求时传入headers参数即可，Referer头作为请求头的一个字段，直接添加到headers字典中就可以生效。
基础设置示例
下面是一个最基础的设置Referer头的代码示例，我们模拟从目标网站的首页跳转到目标链接的场景：
import requests
# 目标受限链接
target_url = "https://ipipp.com/api/restricted_data"
# 设置请求头，包含Referer字段
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36",
"Referer": "https://ipipp.com/index"
}
# 发送请求
response = requests.get(target_url, headers=headers)
# 打印响应状态码和内容
print("响应状态码:", response.status_code)
print("响应内容:", response.text)
动态获取Referer的场景
有些网站的Referer值是动态变化的，比如需要先访问某个前置页面，从前置页面的响应中获取跳转链接，这时候Referer就需要设置为前置页面的URL。下面是一个动态设置Referer的示例：
import requests
# 前置页面URL
pre_url = "https://ipipp.com/list"
# 目标受限链接
target_url = "https://ipipp.com/api/detail"
# 第一步：访问前置页面，获取前置页面的URL作为Referer
pre_response = requests.get(pre_url, headers={
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36"
})
# 前置页面的URL作为Referer
referer_value = pre_url
# 第二步：携带正确的Referer访问目标链接
target_headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36",
"Referer": referer_value
}
target_response = requests.get(target_url, headers=target_headers)
print("目标链接响应状态码:", target_response.status_code)
print("目标链接响应内容:", target_response.text)
常见问题与注意事项
- Referer头的值需要是完整的URL，包含协议、域名、路径，部分网站还会校验查询参数，需要和浏览器中的实际请求保持一致。
- 如果同时设置了多个请求头，要注意格式正确，字典的键名要和HTTP标准头名称一致，Referer的拼写不要错误。
- 部分网站除了校验Referer头，还会校验其他请求头比如Cookie、User-Agent，需要结合实际情况补充完整的请求头信息。
- 如果设置Referer头之后仍然无法访问，可以尝试用浏览器的开发者工具抓取正常请求的完整请求头，完全模拟浏览器的请求头配置。
总结
Referer头是网站常用的访问校验参数，在Python Requests访问受限链接时，正确设置Referer头可以解决大部分因来源校验导致的访问失败问题。我们只需要先通过浏览器工具确认正常请求的Referer值，再在Requests的headers参数中添加对应的Referer字段即可。如果遇到更复杂的反爬场景，还可以结合Cookie、动态User-Agent等参数一起配置，提升请求的成功率。