在开发支持断点续传的C++下载工具时，本地分片MD5值比对与完整性校验是保证最终文件可用的核心环节。如果只记录已下载的字节偏移而不校验内容，网络抖动或服务端文件变更都可能导致续传拼出的文件 silently 损坏。通过为每个分片计算MD5并持久化，重启任务后可以本地独立完成合法性判断，无需每次都找服务端要校验信息。
分片模型与MD5记录格式设计
实现断点续传的第一步是定义清晰的分片规则。通常我们会把目标文件按固定大小（如 4MB 或 8MB）切分为多个分片，最后一个分片允许小于额定值。每个分片在本地不仅有对应的临时数据文件或文件区间，还需要一个索引结构来保存分片序号、起始偏移、长度以及计算出的 MD5 字符串。这个索引可以选用轻量的 JSON 或自定义二进制格式，关键是能在程序崩溃后准确恢复。
在设计记录格式时，建议把 MD5 值以十六进制字符串存储，并与分片数据分离。例如用一个 .idx 文件记录所有分片状态，真正的数据写入 .part 文件。这样做的好处是校验时只需顺序读取索引和对应区间，不会干扰正在写入的数据流。同时，分片大小不宜过小，否则索引膨胀；也不宜过大，否则单分片校验失败重下成本太高。实践中 4MB 到 16MB 是较平衡的选择。
下面给出一个简单的索引结构定义和写入示例，使用 C++ 标准库与 OpenSSL 的 EVP 接口配合。注意代码中所有小于号都做了转义以符合 HTML 规范。
#include <string>
#include <vector>
#include <fstream>
struct SegmentMeta {
int index;
long long offset;
long long length;
std::string md5; // 十六进制
};
// 将分片元数据写入索引文件
void save_index(const std::string& idx_path, const std::vector<SegmentMeta>& segs) {
std::ofstream out(idx_path, std::ios::binary);
for (const auto& s : segs) {
out << s.index << "," << s.offset << "," << s.length << "," << s.md5 << "n";
}
}
基于OpenSSL的本地分片MD5计算
在 C++ 中计算 MD5 有多种方式，但断点续传场景强烈建议使用 OpenSSL 的 EVP 抽象接口而不是旧式的 MD5_Init 系列函数。EVP 接口支持流式更新，可以一边从磁盘读分片一边算哈希，不需要把整个分片加载到内存。对于大分片，这能显著降低内存峰值，也方便嵌入到下载写的回调里。
具体做法是：打开分片对应的本地文件区间，按块读取（比如 64KB 一块），调用 EVP_DigestUpdate 喂数据，最后 EVP_DigestFinal_ex 取出摘要并转成十六进制。需要注意的是，如果分片是追加写入的，校验前应确保该分片已关闭写入句柄，避免读到脏数据。另外，当分片长度为零（空文件边界）时，MD5 值是固定的 d41d8cd98f00b204e9800998ecf8427e，也要正确处理。
以下代码展示了如何从已落盘的分片文件中计算 MD5 十六进制串。这里使用 EVP_md5() 算法，并演示了分块读取：
#include <openssl/evp.h>
#include <fstream>
#include <iomanip>
#include <sstream>
std::string calc_md5_of_segment(const std::string& part_path, long long offset, long long length) {
std::ifstream in(part_path, std::ios::binary);
in.seekg(offset);
EVP_MD_CTX* ctx = EVP_MD_CTX_new();
EVP_DigestInit_ex(ctx, EVP_md5(), nullptr);
const int buf_size = 65536;
std::vector<char> buf(buf_size);
long long left = length;
while (left > 0) {
std::streamsize to_read = (left > buf_size) ? buf_size : static_cast<std::streamsize>(left);
in.read(buf.data(), to_read);
std::streamsize got = in.gcount();
if (got <= 0) break;
EVP_DigestUpdate(ctx, buf.data(), static_cast<size_t>(got));
left -= got;
}
unsigned char digest[EVP_MAX_MD_SIZE];
unsigned int dlen = 0;
EVP_DigestFinal_ex(ctx, digest, &dlen);
EVP_MD_CTX_free(ctx);
std::ostringstream oss;
for (unsigned int i = 0; i < dlen; ++i) {
oss << std::hex << std::setw(2) << std::setfill('0') << (int)digest[i];
}
return oss.str();
}
这种实现方式在实测中即使面对数 GB 的局部校验也能把内存控制在常数级。如果服务端后续提供了分片哈希，还可以把本地算出的结果与服务端比对，形成双向校验，但本地比对已经能拦截绝大多数因磁盘写入异常导致的损坏。
续传时的比对逻辑与失败处理
当程序重新启动一个下载任务时，先加载索引文件，对每个标记为已下载的分片调用上面的 MD5 函数重算，并与索引中记录的 md5 字段比较。若一致，说明该分片在磁盘上仍然完整，可直接跳过网络请求；若不一致，则将该分片状态置为待下载，并删除或覆盖其对应的本地数据区间，防止旧脏数据参与最终拼接。
这里有一个常见误区：有些实现只在首次写入时算一次 MD5 并永远信任它，但磁盘位衰减、误删某分片后半段、或多进程写同一个 part 文件都可能让实际内容和记录不符。因此每次续传启动都必须重算，这是本地校验的底线。此外，对于末尾不足额定大小的分片，偏移和长度要从实际文件大小反推，不能假设和前面一致。
失败分片的处理策略也很关键。建议采用先标记无效、再异步清理的方式，避免在校验循环里直接做大量文件截断导致启动卡顿。下面给出一个简化版的比对与重置逻辑：
#include <vector>
#include <iostream>
void verify_and_reset(std::vector<SegmentMeta>& segs, const std::string& part_path) {
for (auto& s : segs) {
if (s.length <= 0) continue;
std::string local = calc_md5_of_segment(part_path, s.offset, s.length);
if (local != s.md5) {
std::cout << "segment " << s.index << " corrupted, will refetchn";
s.md5 = "";
// 实际工程里可在此记录待清理区间
} else {
std::cout << "segment " << s.index << " ok, skipn";
}
}
}
通过上述三层设计，本地分片 MD5 比对既能让断点续传具备离线自证清白的能力，又把重下代价限制在单个分片内。配合合理的索引落盘频率，即使客户端意外退出，也能在秒级完成校验并恢复任务，而不是从头再拉一遍文件。