模糊测试在针对网络协议进行安全测试时，往往会在较短时间内触发大量崩溃输入，这些崩溃可能对应同一漏洞的不同触发路径，也可能分别指向栈溢出、堆损坏、空指针解引用、断言失败等多种缺陷类型。如果依靠人工打开调试器逐一确认，不仅效率很低，而且容易因为样本数量过大而忽略某些低概率但严重的问题。通过机器学习对崩溃样本做自动分类，可以把大量崩溃归纳为有限类别，帮助团队优先处理高风险漏洞。本文将使用Ruby生态中的Rumale机器学习库，构建一个面向网络协议模糊测试的崩溃分类器，并完整说明从数据解析、特征工程到模型训练和部署预测的过程。
一、崩溃报告的数据结构与标签体系
网络协议模糊测试工具在捕获崩溃时通常会输出结构化报告。以AFL和LibFuzzer为例，崩溃样本会保存在指定目录，同时生成包含崩溃信号、寄存器快照、栈回溯以及地址信息的元数据。自定义协议Fuzzer也可以借助信号处理函数或AddressSanitizer（ASan）生成类似报告。一个典型的JSON格式崩溃报告可以包含以下字段：
{
"crash_id": "c001",
"signal": "SIGSEGV",
"fault_addr": "0x0000000000000000",
"stack_frames": ["0x401234", "0x402345", "0x403456"],
"registers": {"rax": "0x0", "rbx": "0x7fffffffe000", "rip": "0x401234"},
"asan_report": "heap-buffer-overflow"
}
标签体系通常由崩溃信号和ASan报告共同确定。仅凭信号SIGSEGV无法区分是堆溢出还是空指针写入，因此建议结合ASan的报告类别，将崩溃标签划分为栈缓冲区溢出、堆缓冲区溢出、释放后使用、空指针解引用、断言失败和其他未知类别。对于没有ASan的环境，可以退化为按信号加故障地址是否映射可读等规则做粗分类。
标签的准确性直接决定分类器的上限。建议在训练之前，由有经验的安全研究员对至少500到1000个崩溃样本进行人工复核，并保留复核过程中发现的新标签。对于容易混淆的崩溃，例如释放后使用有时也会表现为SIGSEGV，需要结合崩溃调用栈中的函数名和内存分配器状态做二次确认。
二、特征提取与数值化
崩溃报告是半结构化文本，需要转换为数值特征才能输入机器学习模型。最直接的几类特征包括信号类型、故障地址是否为零、栈深度、栈哈希以及ASan报告类别。故障地址为零通常与空指针解引用相关，而栈深度可以用来区分不同调用路径的复杂程度。栈哈希将完整回溯中的地址序列压缩为一个整数，可以保留崩溃路径的相似性信息。
下面是一段基于Ruby的特征提取代码，输入为解析后的JSON哈希，输出为特征数组：
require 'json'
def extract_features(report)
signal_map = { 'SIGSEGV' => 0, 'SIGABRT' => 1, 'SIGILL' => 2, 'SIGBUS' => 3 }
asan_map = { 'stack-buffer-overflow' => 0, 'heap-buffer-overflow' => 1, 'use-after-free' => 2, 'null-deref' => 3, 'unknown' => 4 }
features = []
features << signal_map.fetch(report['signal'], 4)
features << (report['fault_addr'].to_i(16) == 0 ? 1 : 0)
features << report['stack_frames'].length
# 使用栈地址序列计算一个稳定的哈希值，减少维度
stack_hash = report['stack_frames'].join.hash % 10_000
features << stack_hash
features << asan_map.fetch(report['asan_report'], 4)
features
end
栈哈希的计算方式会影响特征稳定性。使用Ruby内置的hash方法在进程间可能不一致，因为String的hash带有随机种子，导致同一个栈序列在不同运行中产生不同哈希值。对于需要可复现特征的情况，建议改用MD5或SHA1对栈帧拼接后的字符串计算摘要，并截取前16位作为整数。例如：
require 'digest'
def stable_stack_hash(frames)
digest = Digest::SHA1.hexdigest(frames.join(','))
digest[0, 8].to_i(16)
end
除了上述基础特征，还可以提取寄存器中的可疑值。例如当RAX寄存器保存的地址落在栈区或堆区时，可能对应不同的写入行为；当RIP寄存器指向的模块偏移属于共享库时，可以进一步编码模块名。这些特征需要根据目标协议和Fuzzer输出能力灵活扩展。
三、使用Rumale训练与评估模型
Rumale是Ruby生态中功能接近scikit-learn的机器学习库，内置随机森林、支持向量机、朴素贝叶斯等常用算法。在开始训练前，需要将特征数组转换为Numo::NArray矩阵，标签转换为Numo::Int32向量。下面示例假设已经完成所有崩溃报告的特征提取，并划分了训练集与测试集。
安装Rumale和Numo::NArray可以通过gem命令完成：
gem install rumale numo-narray
随机森林通常对崩溃分类这种特征维度较低、类别边界不规则的场景表现稳定，且不易过拟合。训练代码如下：
require 'rumale'
require 'numo/narray'
# 假设X_train、X_test、y_train、y_test为准备好的Numo数组
x_train = Numo::DFloat.new(800, 5).rand
y_train = Numo::Int32.new(800).rand(5)
x_test = Numo::DFloat.new(200, 5).rand
y_test = Numo::Int32.new(200).rand(5)
model = Rumale::Ensemble::RandomForestClassifier.new(
n_estimators: 120,
max_depth: 10,
random_seed: 42
)
model.fit(x_train, y_train)
pred = model.predict(x_test)
accuracy = Rumale::EvaluationMeasure::Accuracy.new.score(y_test, pred)
puts "测试准确率: #{accuracy}"
如果样本数量较少，可以启用分层交叉验证来获得更可靠的评估。Rumale提供了StratifiedKFold，可以在不同折叠上观察每个类别的召回率，而不是只看整体准确率。由于崩溃类别往往高度不平衡，例如堆缓冲区溢出可能占60%以上，而释放后使用只占5%，准确率指标会掩盖少数类的漏报。此时应输出混淆矩阵，重点检查少数类的召回率。
朴素贝叶斯模型训练速度快，但独立性假设对崩溃特征并不完全成立，例如栈深度与故障地址是否为零可能存在关联，因此效果一般。决策树可解释性强，便于安全人员理解分类规则，但容易过拟合。对比实验中，随机森林通常能在稳定性和准确率之间取得较好平衡，适合作为默认基线模型。
四、样本不平衡与未知类别处理
模糊测试产生的崩溃数据天然存在样本不平衡，常见路径的崩溃会反复出现，而特定条件触发的漏洞可能只有一两个样本。如果直接训练，模型容易偏向多数类。缓解方法包括对少数类进行过采样、对多数类进行欠采样，或者在损失函数中设置类别权重。Rumale的随机森林实现没有内置class_weight参数，可以在采样阶段手动处理，例如从少数类中随机复制样本，直到各类别样本数接近。
未知类别的处理同样重要。实际运行中，新的漏洞类型可能从未在训练集中出现，如果强制将其归入现有类别，会误导分析。可以通过预测概率设置阈值：当最大类别概率低于某个值（例如0.6）时，将样本标记为未知并转入人工审核队列。Rumale的随机森林支持predict_proba方法，可以返回每个类别的概率分布。
probs = model.predict_proba(x_test)
unknown_threshold = 0.6
unknown_ids = []
probs.each_with_index do |prob_row, idx|
max_prob = prob_row.max
unknown_ids << idx if max_prob < unknown_threshold
end
puts "阈值以下疑似未知样本数: #{unknown_ids.length}"
模型保存与加载可以使用Ruby内置的Marshal序列化，但需要注意Rumale和Numo版本变化可能导致反序列化失败。更稳妥的做法是保存特征工程参数与模型参数到JSON或二进制文件，在预测服务启动时重新训练。对于实时性要求不高的场景，可以直接把训练好的模型加载到内存，配合一个轻量级的HTTP接口接收崩溃JSON并返回类别标签。
五、工程落地与持续迭代
将崩溃分类器集成到模糊测试流水线后，可以显著减少人工分类的工作量。一个典型流程是：Fuzzer发现新崩溃后，立即调用脚本抽取特征并请求分类服务；分类器返回类别和置信度，如果置信度足够高且属于已知高危类别，自动触发修复工单；如果置信度低或属于未知类别，则进入人工复核队列。这样既能保证响应速度，又不会因为模型误判而漏掉关键漏洞。
持续迭代需要定期收集人工复核结果，并将确认后的标签加入训练集重新训练模型。随着样本积累，可以用更复杂的模型替换随机森林，例如梯度提升树或简单的神经网络。但要注意，崩溃分类任务的特征维度通常不高，样本规模可能只有几千到几万，过于复杂的模型容易过拟合。可以先从随机森林开始，再根据分类报告逐步优化特征和模型选择。
对于网络协议模糊测试，崩溃报告中的协议状态、输入报文长度、会话阶段等信息也可以作为特征加入，以区分同一崩溃在不同协议阶段的表现。这类特征通常需要修改Fuzzer的日志模块进行导出，建议在项目初期就设计好统一的崩溃报告格式，方便后续扩展。Ruby作为胶水语言，非常适合编写这类数据处理和模型编排脚本，配合Rumale能够快速完成原型验证并直接部署到现有安全工具链中。