调提示词最怕的不是效果差，而是效果差却说不清差在哪里。比如让模型生成产品卖点，输出一会儿过于口语化，一会儿遗漏关键参数，一会儿又擅自添加未经确认的优惠信息。如果只用‘感觉不对’来描述，下一轮修改必然没有方向。要解决这个问题，需要先为生成结果建立评估标准，再把反馈调整变成可重复执行的流程。
一、把生成结果拆成可评估的维度
评估提示词效果，第一步是把评价对象从整段文本细化到具体维度。常用的维度包括相关性、完整性、准确性、格式一致性、稳定性和安全性六类。相关性衡量输出是否紧扣指令主题；完整性看是否覆盖了所有必填信息；准确性关注事实、数字、命名实体是否与输入一致；格式一致性检查结构是否符合要求，例如是否总是输出JSON或固定段落；稳定性指同样输入多次运行结果是否波动过大；安全性则是输出是否包含违规或未经授权的承诺。
把维度拆开之后，很多原本说不清的问题会立刻变得清晰。例如评价‘完整性’不是凭感觉，而是对照输入中的字段清单，逐项打勾。假设输入包含商品名称、规格、价格、售后政策四个要素，输出缺一个，完整性就只能得3分；缺两个以上，可能只剩1到2分。类似地，评价‘格式一致性’也不是看排版好不好看，而是检查模型是否每次都遵守了约定的结构，比如是否在开头输出标题、在结尾输出总结，或者是否稳定返回合法的JSON。
不同业务对维度的权重并不相同。客服问答场景可能最看重准确性和安全性，营销文案场景可能更关注相关性和格式一致性。建议团队先花少量时间确认当前任务中哪些维度最影响业务结果，并为每个维度给出可观察的判断依据。这样后续评分才有稳定的基础，而不是每次评审都凭个人偏好。
二、建立轻量级评分表与基线样本
有了维度之后，需要一张可以打分的评分表。推荐使用1到5分制，并为每个分数写清行为描述。例如相关性5分表示所有句子都直接回应主题；4分表示偶有轻微扩展但无跑题；3分表示出现一段明显跑题；2分表示多段内容与主题无关；1分表示大部分内容偏离指令。给分数配描述，能显著减少不同评审人之间的主观差异。
自动评分可以处理一部分规则明确的检查。下面是一个简单的基础评估函数，用来检查输出长度、必要关键词覆盖以及禁止词命中情况，适合作为人工评分前的快速筛选。
def evaluate_basic(text, required_keywords, banned_words, min_len=50, max_len=500):
score = 5
detail = []
text_len = len(text)
if text_len < min_len or text_len > max_len:
score -= 1
detail.append('长度不符合要求')
missing = [kw for kw in required_keywords if kw not in text]
if missing:
score -= len(missing)
detail.append('缺失关键词: ' + ', '.join(missing))
hit_banned = [w for w in banned_words if w in text]
if hit_banned:
score -= len(hit_banned)
detail.append('命中禁止词: ' + ', '.join(hit_banned))
return max(score, 1), detail
这段脚本只能做基础检查，无法判断语义是否连贯、语气是否合适，但它可以把最明显的格式错误、漏词和违规词问题先暴露出来。实际使用中，建议将自动评分与人工抽检结合：自动评分覆盖全部基线样本，人工评分只抽其中20%做校准。如果人工评分与自动评分长期一致，说明规则设计比较合理；如果经常出现差异，则需要调整规则或权重。
基线样本集是另一个容易忽略但非常重要的部分。收集20到50条典型输入，并为每条输入标注理想输出或关键评分点。每次修改提示词后，都跑一遍同样的样本集，观察各维度均分变化。没有固定样本集，评估就会变成‘这次挑了几个好例子，下次挑了几个坏例子’，分数涨跌都不可信。
三、反馈调整流程：从问题定位到单变量验证
有了评分表和基线样本，反馈调整就不再是随机试错。推荐流程如下：先固定温度等采样参数，对同一条输入运行3次，记录原始输出；然后对照评分表逐项打分，找到失分最严重的维度；接着提出一个明确假设，例如‘在指令中加入输出长度限制，能改善完整性’；修改提示词后再跑同样3次，用分数验证假设是否成立。
每次只改一个因素非常重要。如果同时调整了角色描述、输出格式和示例数量，分数提升后无法归因，下次遇到新问题仍然没有方向。举例来说，如果发现输出总是漏掉价格字段，就先只在提示词中补充一条‘必须包含价格，且价格单位为元’，其他部分保持不动。跑完样本集后看完整性分数是否上升、其他维度是否下降。这种单变量验证能清楚地把改动和效果对应起来。
每次修改提示词时，建议用版本记录把变更内容、验证分数和影响维度保存下来。下面是一个提示词版本记录的JSON示例，便于团队追踪每一次调整的因果。
{
"prompt_version": "v3",
"change": "在系统提示中增加输出长度限制为80字以内",
"baseline_score": 3.2,
"new_score": 4.1,
"affected_dimension": "完整性",
"note": "长度约束后模型不再省略关键字段"
}
如果新版本分数没有提升，或者某个原本稳定的维度出现下降，应回滚到上一个版本，并记录失败假设。这样可以避免无效修改不断叠加，把提示词越改越乱。版本化提示词库不需要很复杂，一个共享表格或Git仓库中的文本文件都可以承担这个职责，关键是每次修改都有记录、有对比、有结论。
四、把流程沉淀成可复用的提示词优化闭环
当评估标准和调整流程稳定后，可以进一步自动化。把基础评分脚本接入批量测试，每次保存新提示词时自动输出各维度均分和失败样本列表。团队可以设置及格线，例如相关性均分低于4.0时不允许合并到主分支。这样提示词优化就从个人经验变成团队资产，新人接手时也能快速理解为什么某个提示词是现在这样写。
自动评估适合处理格式、长度、关键词覆盖这些可规则化的部分；语义相关性、语气自然度仍需要人工抽检。两者结合的成本可控，又能覆盖大部分回归风险。建议每周从线上真实输入中抽样20条，补充进基线样本集，防止样本老化带来的评估偏差。线上数据变化较快时，可以缩短到每三天更新一次样本。
最终目标是让每次修改都有依据，知道改了什么、为什么改、分数变化多少。如果评估标准本身不够合理，可以调整维度权重，但应该先记录后调整，而不是边改边评。评估标准、基线样本、评分脚本、版本记录这四样东西一旦形成闭环，提示词优化就不会再是‘试到满意为止’的体力活，而是一个可度量、可复现、可持续改进的工程过程。