做3D内容生产时，AI生成工具的选型往往决定了整个项目的效率上限。Meshy、Tripo、Trios、Rodin这些工具各有擅长，同一个提示词在不同平台上生成的结果差异可能大到让人怀疑人生。与其反复手动生成、肉眼比对，不如搭建一套A-B测试框架，把不同工具和参数的输出放进同一套评价体系里，用数据得出结论。这篇文章就来聊聊这套框架该怎么设计、怎么落地。
一、为什么3D生成模型需要专门的A-B测试框架
传统的A-B测试多见于Web页面或推荐系统，用户点击行为可以直接量化。但3D模型的质量评估要复杂得多：几何是否完整、拓扑是否干净、UV是否合理、贴图是否有拉伸，这些维度很难用一个分数概括。而且AI生成结果带有明显的随机性，同一个工具跑两次，面数可能差30%，细节部位的破面情况也不一样。单次生成的对比几乎没有统计意义，必须靠多轮采样加量化指标才有说服力。
另外，3D生成通常是流水线中的一环。如果前面选错了工具，后期在游戏引擎里的碰撞检测、LOD制作、烘焙流程都会跟着出问题。比如一个模型带有大量非流形边，导入Blender后清理起来比重新生成还费劲。所以A-B测试不仅要看外观，还要把工程可用性纳入评价范围，这就是需要专门框架的原因。
框架的核心目标是三个：变量可控、样本可复现、结果可统计。变量可控指每次只改一个参数（工具、提示词、面数上限等），其他条件保持固定；样本可复现指记录每次生成的种子值和请求参数，随时能重跑；结果可统计指输出统一的指标文件，方便后续用脚本做显著性分析。
二、测试变量设计与评价指标体系
设计测试变量时，建议分成三层：工具层（Meshy / Tripo / Rodin / Trios）、参数层（提示词措辞、参考图、面数档位、PBR贴图开关）、环境层（API版本、生成时间批次）。每次实验只允许一个变量变化，这样得出的差异才能归因。以提示词为例，同一个对象用低模风格和高细节风格分别测试，配合不同工具，可以形成一个2乘4的实验矩阵，共8组，每组采样5到10个样本。
评价指标建议量化与主观结合。量化指标可以用Python脚本自动计算：包围盒体积与期望体积的偏差、连通分量数量（检测碎块）、非流形边数量、三角形面数、UV重叠率。主观指标则用双盲打分，把不同工具的输出打乱顺序，让评审对几何完整度、贴图质量、整体相似度打1到5分。下面是一个自动采集量化指标的脚本示例：
import trimesh
import json
def analyze_model(path):
mesh = trimesh.load(path, force='mesh')
return {
"faces": len(mesh.faces),
"vertices": len(mesh.vertices),
"watertight": mesh.is_watertight, # 是否封闭
"components": mesh.body_count, # 连通分量数
"euler_number": mesh.euler_number, # 欧拉数，辅助判断拓扑
"volume": float(mesh.volume), # 体积，用于一致性对比
"area": float(mesh.area)
}
results = {}
for name in ["meshy_output.glb", "tripo_output.glb", "rodin_output.glb"]:
results[name] = analyze_model(name)
with open("ab_metrics.json", "w", encoding="utf-8") as f:
json.dump(results, f, indent=2, ensure_ascii=False)
print(json.dumps(results, indent=2, ensure_ascii=False))
统计时，对每组样本的指标取均值和标准差，然后做简单的t检验。如果两组的面数均值差异明显但标准差也大，说明该工具输出不稳定，这在批量生产场景下是减分项。主观分数建议至少3个人独立打分，取平均后再与量化指标做相关性分析，找出哪些自动指标最能代表人眼感受，逐步减少人工评审的工作量。
三、批量生成与结果统计分析的完整流程
评价体系定好后，剩下的是把流程自动化。整体分四步：任务队列生成、API批量调用、指标采集入库、统计报告输出。任务队列用一个JSON文件描述所有实验组合，脚本按顺序消费队列，每次调用记录请求参数、响应时间和下载地址，保证全程可追溯。这样即使某次实验中断，也能从断点继续。
下面是一个简化版的批量调用与数据落盘流程：
import requests
import time
import json
experiments = [
{"tool": "meshy", "prompt": "low poly wooden chair", "seed": i}
for i in range(5)
] + [
{"tool": "tripo", "prompt": "low poly wooden chair", "seed": i}
for i in range(5)
]
log = []
for exp in experiments:
resp = requests.post(
f"https://api.{exp['tool']}.com/v1/generate",
json={"prompt": exp["prompt"], "seed": exp["seed"]},
timeout=120
)
log.append({
**exp,
"status": resp.status_code,
"elapsed": resp.elapsed.total_seconds(),
"result": resp.json().get("model_url", "")
})
time.sleep(2) # 控制请求频率，避免触发限流
with open("run_log.json", "w", encoding="utf-8") as f:
json.dump(log, f, indent=2, ensure_ascii=False)
指标入库后，用pandas做汇总分析非常方便。按工具分组计算各指标的均值、标准差和生成耗时，再配合seaborn画箱线图，一眼就能看出哪个工具的面数波动大、哪个的生成速度慢。最终报告建议包含三部分：原始数据表、组间差异的统计检验结果、以及带截图的样例展示，方便团队里没有参与测试的人也能看懂结论。
落地时还有两点经验值得注意。第一，工具的API版本更新很频繁，每次正式测试前先跑一组固定种子的回归测试，确认工具本身没有行为变化，否则前后批次的数据不可比。第二，评价标准要贴合实际用途：做手游低模就重点看面数控制和拓扑干净度，做影视高模则更关注细节还原和贴图质量，指标权重按需调整，不要照搬通用模板。把这套框架跑顺之后，新工具出现时只需把它加进实验矩阵，一两天就能拿到可靠的对比结论，选型决策再也不是拍脑袋。