Nginx在处理高并发请求时，通常会作为反向代理服务器将请求转发至后端上游服务器。为了提升传输效率，Nginx与上游服务器之间往往会采用HTTP/2协议进行通信。然而，HTTP/2协议为了减少网络开销，引入了HPACK算法对请求头进行压缩。这种压缩机制依赖于一张静态表，将常见的头部字段如Host、User-Agent等替换为简短的索引值。当我们在Nginx中配置日志记录回源请求的头部信息时，如果直接读取网络包数据，往往会得到一串无法直接阅读的压缩编码，而非明文字符串。这就要求我们必须深入理解HPACK静态表的机制，才能在日志层面准确还原这些头部信息。
HTTP/2与HPACK头部压缩机制解析
HTTP/2协议的核心优势之一在于其多路复用和头部压缩能力。HPACK算法通过维护静态表和动态表两种映射关系，大幅降低了头部的传输体积。静态表预定义了61个最常见的HTTP头部字段及其常见值，例如索引为2的字段代表GET方法，索引为7的字段代表Host头部。当客户端或代理服务器发送请求时，如果头部字段命中了静态表，就可以只发送一个索引号，接收方通过查表即可还原完整的头部键值对。
在Nginx回源场景中，Nginx作为客户端向上游服务器发起HTTP/2请求。Nginx内部会自动将构造好的请求头进行HPACK编码，然后发送出去。这个过程发生在Nginx的HTTP/2模块内部，对于普通的日志模块来说是透明的。这意味着，如果我们尝试在日志阶段捕获发往上游的原始字节流，看到的是经过HPACK编码后的二进制数据。如果不经过专门的解码步骤，这些数据在日志文件中只会表现为乱码，无法用于后续的日志分析系统进行数据挖掘和故障排查。
Nginx回源日志记录面临的挑战
Nginx原生的日志模块提供了丰富的变量，如$upstream_http_name可以用来记录上游服务器返回的响应头，但对于发往上游的请求头，记录手段相对有限。通常我们可以通过配置proxy_set_header来设置请求头，但要在日志中记录这些实际发送的头部，尤其是在HTTP/2环境下，会遇到编码层面的障碍。由于HPACK静态表的存在，某些头部可能被压缩成了单个字节的索引，Nginx默认的日志格式化器无法直接将这种索引反向解析为明文。
另一个挑战在于动态表的更新。除了静态表，HPACK还会在连接生命周期内维护一个动态表，用于存储那些不在静态表中但出现频率较高的头部字段。静态表和动态表共同构成了HPACK的查找空间。当Nginx与上游服务器建立长连接时，动态表的内容会随着请求的交互不断变化。这意味着同一个头部字段，在连接初期的请求中可能以明文形式发送并加入动态表，而在后续的请求中则仅以动态表索引的形式发送。这种动态变化的特性，使得我们在日志层面静态地记录和解析头部信息变得极其复杂，无法用一套固定的映射规则来解码所有的请求头。
实现Nginx日志准确记录HPACK头部信息的方案
要解决上述问题，最直接的方案是借助Nginx的Lua模块。通过OpenResty或带有ngx_http_lua_module的Nginx，我们可以在请求转发前的rewrite阶段或balancer阶段，拦截并捕获即将发送的明文请求头。在这个阶段，Nginx尚未对头部进行HPACK编码，我们可以直接获取到完整的键值对。然后，将这些头部信息组装成JSON字符串，赋值给一个自定义的Nginx变量，最后在日志格式中输出这个变量。这种方式绕过了HPACK编码过程，从源头上保证了日志数据的明文可读性。
下面是一个使用Lua模块捕获并记录回源请求头的代码示例。在这个示例中，我们定义了一个日志格式，其中包含一个自定义变量$upstream_request_headers_json。然后在Nginx配置的location块中，使用rewrite_by_lua_block将当前的请求头转换为JSON格式并存入Nginx变量中。这样，无论底层协议是HTTP/1.1还是HTTP/2，无论HPACK如何压缩，日志文件中记录的始终是清晰的明文头部信息。
http {
log_format main '$remote_addr - $remote_user [$time_local] '
'"$request" $status $body_bytes_sent '
'"$http_referer" "$http_user_agent" '
'upstream_headers: $upstream_request_headers_json';
server {
listen 80;
location / {
# 设置自定义变量默认值
set $upstream_request_headers_json '';
rewrite_by_lua_block {
local headers = ngx.req.get_headers()
local cjson = require "cjson"
-- 将请求头转换为JSON字符串
local headers_json = cjson.encode(headers)
-- 将结果赋值给Nginx变量
ngx.var.upstream_request_headers_json = headers_json
}
proxy_pass http://backend;
}
}
}
除了Lua方案，如果业务场景对性能要求极高，不希望引入Lua的开销，也可以考虑开发自定义的Nginx模块。在模块内部，可以注册到HTTP/2的帧发送钩子，在帧发送前拦截HEADERS帧，并对其进行解析。虽然HPACK解码逻辑较为复杂，但可以参考官方的nghttp2库实现。在解析出明文头部后，将其写入日志上下文。这种方案开发成本较高，但性能最优，且能够最真实地记录经过HPACK处理后的网络层数据，适用于对协议细节有严格审计要求的安全场景。无论采用哪种方案，核心思路都是在数据被HPACK算法处理之前或之后，介入一个明文捕获的环节，从而打破日志记录的盲区。