WEB站点的请求耗时是衡量服务性能的核心指标之一，通过记录和分析请求耗时日志，可以快速定位慢请求、优化接口性能。使用perl语言处理文本日志的高效能力，搭配MongoDB灵活的文档存储特性，能够低成本实现一个实用的请求耗时日志分析系统，支持日志自动采集、存储、查询和统计功能。
系统核心功能设计
整个系统主要包含三个核心模块，分别负责日志采集解析、数据存储、查询统计，各模块职责清晰，便于后续扩展维护。
- 日志采集解析模块：使用perl脚本读取WEB服务生成的访问日志，按照日志格式提取请求路径、请求耗时、请求时间、状态码、客户端IP等关键信息。
- 数据存储模块：将解析后的日志数据批量写入MongoDB集合，利用MongoDB的索引能力提升后续查询效率。
- 查询统计模块：提供按时间范围、请求路径、耗时阈值等条件的查询能力，支持生成耗时分布、平均耗时、慢请求Top榜等统计结果。
前期环境准备
在搭建系统前需要先准备好基础运行环境，确保perl和MongoDB都可以正常使用。
1. 安装MongoDB
根据系统版本安装对应版本的MongoDB服务，启动服务后创建专用的数据库和集合，用于存储日志数据。
# 启动MongoDB服务
mongod --dbpath /data/mongodb/data --logpath /data/mongodb/log/mongod.log --fork
# 进入MongoDB交互终端
mongo
# 创建日志分析数据库
use web_log_analysis
# 创建请求日志集合
db.createCollection("request_log")
# 为请求时间字段创建索引，提升查询效率
db.request_log.createIndex({request_time: 1})
# 为请求路径字段创建索引
db.request_log.createIndex({request_path: 1})
2. 安装perl依赖模块
perl处理MongoDB需要对应的驱动模块，同时解析日志可能需要时间处理、文本匹配的模块，通过CPAN安装即可。
# 安装MongoDB驱动 cpan MongoDB # 安装时间处理模块 cpan DateTime # 安装文本解析模块 cpan Text::ParseWords
日志采集解析模块实现
以Nginx的默认访问日志格式为例，日志格式如下，其中$request_time字段就是请求耗时，单位为秒，保留三位小数：
日志格式配置：log_format main '$remote_addr - $remote_user [$time_local] "$request" $status $body_bytes_sent "$http_referer" "$http_user_agent" "$request_time"';
对应的日志示例：127.0.0.1 - - [10/Nov/2024:14:30:22 +0800] "GET /api/user/list HTTP/1.1" 200 1234 "-" "Mozilla/5.0" "0.056"
下面编写perl脚本解析该格式的日志，提取所需字段：
#!/usr/bin/perl
use strict;
use warnings;
use MongoDB;
use DateTime;
# 日志文件路径
my $log_file = "/var/log/nginx/access.log";
# 连接MongoDB
my $client = MongoDB->connect("mongodb://127.0.0.1:27017");
my $db = $client->get_database("web_log_analysis");
my $collection = $db->get_collection("request_log");
# 打开日志文件
open(my $fh, '<', $log_file) or die "无法打开日志文件: $!";
while (my $line = <$fh>) {
chomp $line;
# 跳过空行
next if $line =~ /^s*$/;
# 解析Nginx日志正则，匹配各字段
if ($line =~ /(S+) - (S+) [([^]]+)] "(S+) (S+) S+" (d+) (d+) "[^"]*" "[^"]*" "([d.]+)"/) {
my $client_ip = $1;
my $remote_user = $2;
my $time_str = $3;
my $request_method = $4;
my $request_path = $5;
my $status_code = $6;
my $body_bytes = $7;
my $request_time = $8;
# 转换时间字符串为DateTime对象，方便后续处理
# 时间格式示例：10/Nov/2024:14:30:22 +0800
if ($time_str =~ /(d+)/(w+)/(d+):(d+):(d+):(d+) ([+-]d+)/) {
my ($day, $mon_str, $year, $hour, $min, $sec, $timezone) = ($1, $2, $3, $4, $5, $6, $7);
my %mon_map = (Jan=>1,Feb=>2,Mar=>3,Apr=>4,May=>5,Jun=>6,Jul=>7,Aug=>8,Sep=>9,Oct=>10,Nov=>11,Dec=>12);
my $mon = $mon_map{$mon_str};
my $dt = DateTime->new(
year => $year,
month => $mon,
day => $day,
hour => $hour,
minute => $min,
second => $sec,
time_zone => $timezone
);
# 构造存储到MongoDB的文档
my $log_doc = {
client_ip => $client_ip,
remote_user => $remote_user,
request_time => $dt->epoch(), # 存储时间戳方便范围查询
request_time_str => $time_str,
request_method => $request_method,
request_path => $request_path,
status_code => int($status_code),
body_bytes => int($body_bytes),
request_cost => $request_time + 0, # 转为数值类型
create_time => time()
};
# 插入数据到MongoDB
$collection->insert_one($log_doc);
}
}
}
close($fh);
print "日志解析完成，数据已写入MongoDBn";
查询统计功能实现
数据存储到MongoDB之后，可以通过perl编写查询脚本，实现各类统计需求，以下是几个常见的统计场景示例。
1. 查询指定时间范围内的慢请求
比如查询最近1小时内耗时超过0.1秒的请求：
#!/usr/bin/perl
use strict;
use warnings;
use MongoDB;
my $client = MongoDB->connect("mongodb://127.0.0.1:27017");
my $db = $client->get_database("web_log_analysis");
my $collection = $db->get_collection("request_log");
# 当前时间戳
my $now = time();
# 1小时前的时间戳
my $one_hour_ago = $now - 3600;
# 查询条件：请求时间在1小时内，且耗时超过0.1秒
my $filter = {
request_time => {'$gte' => $one_hour_ago, '$lte' => $now},
request_cost => {'$gt' => 0.1}
};
my $cursor = $collection->find($filter);
print "最近1小时慢请求列表：n";
while (my $doc = $cursor->next) {
print "路径：$doc->{request_path}，耗时：$doc->{request_cost}秒，时间：$doc->{request_time_str}n";
}
2. 统计各请求路径的平均耗时
使用MongoDB的聚合功能，按请求路径分组计算平均耗时：
#!/usr/bin/perl
use strict;
use warnings;
use MongoDB;
my $client = MongoDB->connect("mongodb://127.0.0.1:27017");
my $db = $client->get_database("web_log_analysis");
my $collection = $db->get_collection("request_log");
# 聚合管道：按请求路径分组，计算平均耗时
my @pipeline = (
{
'$group' => {
'_id' => '$request_path',
'avg_cost' => {'$avg' => '$request_cost'},
'request_count' => {'$sum' => 1}
}
},
{
'$sort' => {'avg_cost' => -1}
}
);
my $cursor = $collection->aggregate(@pipeline);
print "各请求路径平均耗时统计：n";
while (my $doc = $cursor->next) {
print "路径：$doc->{_id}，平均耗时：$doc->{avg_cost}秒，请求次数：$doc->{request_count}n";
}
3. 生成耗时分布统计
统计不同耗时区间的请求数量，比如0-0.05秒、0.05-0.1秒、0.1秒以上的请求占比：
#!/usr/bin/perl
use strict;
use warnings;
use MongoDB;
my $client = MongoDB->connect("mongodb://127.0.0.1:27017");
my $db = $client->get_database("web_log_analysis");
my $collection = $db->get_collection("request_log");
# 总请求数
my $total_count = $collection->count_documents({});
# 各区间计数
my $lt_0_05 = $collection->count_documents({'request_cost' => {'$lt' => 0.05}});
my $btw_0_05_0_1 = $collection->count_documents({'request_cost' => {'$gte' => 0.05, '$lt' => 0.1}});
my $gt_0_1 = $collection->count_documents({'request_cost' => {'$gte' => 0.1}});
print "请求耗时分布统计：n";
printf "0-0.05秒：%d 条，占比 %.2f%%n", $lt_0_05, $lt_0_05 / $total_count * 100;
printf "0.05-0.1秒：%d 条，占比 %.2f%%n", $btw_0_05_0_1, $btw_0_05_0_1 / $total_count * 100;
printf "0.1秒以上：%d 条，占比 %.2f%%n", $gt_0_1, $gt_0_1 / $total_count * 100;
系统优化建议
实际使用中可以根据需求对系统做进一步优化：
- 日志解析脚本可以设置为定时任务，比如每分钟执行一次，增量解析新增的日志内容，避免重复处理。
- 可以给MongoDB的request_cost字段也创建索引，提升耗时范围查询的效率。
- 如果日志量较大，可以使用perl的批量插入功能，减少MongoDB的写入次数，提升性能。
- 可以基于统计脚本的结果，开发简单的WEB页面展示统计数据，更直观地查看请求性能情况。