在微调大语言模型时，很多人投入了大量算力却发现模型效果提升有限，其中一个最常见的原因就是训练数据的质量不过关。数据量太少、指令形式单一、回答质量参差不齐，都会让微调后的模型学不到真正的能力。为解决这个问题，学术界和工业界提出了多种自动化数据增强方法，其中最具代表性的就是Self-Instruct和Evol-Instruct。这两种方法的共同思路是利用大模型自身的能力来生成和改造训练数据，从而在没有大规模人工标注的情况下，快速构建高质量的指令微调数据集。
一、为什么微调数据质量差会拖垮模型效果
微调的本质是让预训练模型在特定数据分布上继续学习。如果训练数据本身存在问题，模型不仅学不到正确知识，还可能把错误模式固化下来。常见的数据质量问题包括三类：第一类是指令多样性不足，比如几万条数据全是问答形式，模型只会回答问题而不会执行其他任务；第二类是回答质量不稳定，部分回答存在事实错误、逻辑混乱或者格式混乱，模型微调后会放大这些问题；第三类是数据分布偏斜，简单样本占绝大多数，模型缺乏处理复杂任务的能力。
传统解决方式是人工标注，但成本极高。标注一万条高质量指令数据，通常需要数万元人民币和数周时间。而Self-Instruct和Evol-Instruct提供了一条自动化路径：前者解决数据从无到有的问题，后者解决数据从简单到复杂的问题，两者结合可以构建出覆盖面广、难度分布合理的数据集。
二、Self-Instruct：让模型自己生成指令数据
Self-Instruct的核心思想来自2022年斯坦福大学的研究论文，做法是先用少量人工编写的种子指令作为起点，让预训练大模型基于这些种子自动生成新的指令，再让模型为这些指令生成对应的回答，最后通过过滤和去重得到可用的训练数据。整个流程形成了一个自我强化的循环：生成的数据越多，可参考的上下文越丰富，新指令的多样性就越好。
具体流程分为四步。第一步准备种子池，通常人工编写一百多条覆盖不同任务类型的指令。第二步是生成新指令，把种子池中的若干条指令作为示例放入提示词，让模型输出新的指令。第三步判断新指令是否属于分类任务，如果是分类任务则生成标签并构造输出，如果不是则直接生成回答。第四步进行质量过滤，包括去掉与已有指令过于相似的样本、过滤过长或过短的指令等，通过过滤的样本加入种子池继续迭代。
import random
from openai import OpenAI
client = OpenAI(api_key="your-key")
# 种子指令池，实际使用时应准备100条以上
seed_instructions = [
"把下面这段话翻译成英文",
"总结这篇文章的主要观点",
"写一封感谢信给客户",
"解释什么是二分查找算法",
]
def generate_new_instruction(num_examples=3):
# 随机抽取若干种子指令作为上下文示例
examples = random.sample(seed_instructions, num_examples)
prompt = "以下是 一些任务指令示例：\n"
for i, ex in enumerate(examples, 1):
prompt += f"{i}. {ex}\n"
prompt += "请生成一条全新的、任务类型不同的指令，只输出指令本身："
resp = client.chat.completions.create(
model="gpt-3.5-turbo",
messages=[{"role": "user", "content": prompt}],
temperature=0.8, # 高温度提升多样性
)
return resp.choices[0].message.content.strip()
def is_too_similar(new_ins, threshold=0.7):
# 简化版相似度过滤，实际可用ROUGE-L或嵌入向量余弦相似度
for old in seed_instructions:
if len(set(new_ins) & set(old)) / len(set(new_ins) | set(old)) > threshold:
return True
return False
# 迭代生成
for _ in range(10):
new_ins = generate_new_instruction()
if not is_too_similar(new_ins):
seed_instructions.append(new_ins)
print("新指令：", new_ins)Self-Instruct的优点是成本低、扩展性强，用一千多条种子数据就能扩展出数万甚至数十万条指令。它的缺点也很明显：生成的指令质量依赖基础模型的能力，如果基础模型较弱，生成的大量指令会存在重复、语义空洞甚至错误的问题，因此过滤环节至关重要。实践中建议使用ROUGE-L相似度做去重，并设置温度参数在0.7到1.0之间来平衡多样性和质量。
三、Evol-Instruct：通过指令进化提升数据复杂度
Evol-Instruct由WizardLM团队提出，它不是从零生成指令，而是对已有指令进行进化改造。进化分为两个方向：深度进化是把简单指令逐步变得更难，例如增加约束条件、要求多步推理、引入更多变量；广度进化是改变指令的主题或领域，拓展数据覆盖面。同时还有一个回退机制，如果进化后的指令变得无法回答或失去意义，就退回原始指令重新进化。
深度进化有几种典型策略。一是添加约束，比如把写一封邮件改成写一封不超过一百字且包含三个要点的邮件；二是增加推理步骤，比如把直接计算改成要求分步说明；三是专业化，把通用问题改造成特定领域的问题；四是提升复杂度，比如把单变量问题扩展为多变量问题。下面用代码演示一个简化版的深度进化流程。
def evol_instruction(instruction, client):
strategies = [
"请给这条指令增加一个额外的约束条件，使其更具体、更难完成",
"请把这条指令改造成需要多步推理才能完成的版本",
"请把这条指令专业化到某个特定领域，提升难度",
"请增加这条指令中需要处理的变量数量或信息量",
]
strategy = random.choice(strategies)
prompt = (
f"原始指令：{instruction}\n"
f"改造要求：{strategy}\n"
"请直接输出改造后的新指令，不要解释。"
)
resp = client.chat.completions.create(
model="gpt-3.5-turbo",
messages=[{"role": "user", "content": prompt}],
temperature=0.7,
)
return resp.choices[0].message.content.strip()
def evolve_with_fallback(instruction, client, max_retry=3):
for _ in range(max_retry):
evolved = evol_instruction(instruction, client)
# 回退检查：指令不能为空，长度不能异常
if 10 < len(evolved) < 500 and evolved != instruction:
return evolved
return instruction # 全部失败则回退到原指令Evol-Instruct的价值在于它能系统性提升数据难度分布。原始数据集中简单任务占比往往超过八成，模型微调后处理复杂任务的能力不足。通过多轮进化，可以生成难度递增的指令链，例如一次进化生成中等难度，二次进化生成高难度，让数据形成合理的难度梯度。经验表明，用进化后的数据微调，模型在复杂任务上的表现明显优于使用原始数据，这也是WizardLM系列模型能以较小参数量取得好成绩的关键因素之一。
四、两种方法的对比与组合实践建议
从定位上看，Self-Instruct解决的是数据规模问题，适合从零开始构建数据集；Evol-Instruct解决的是数据深度问题，适合已有一定数量数据但质量单一的场景。两者并非互斥，完全可以串联使用：先用Self-Instruct从种子扩展出基础指令池，再用Evol-Instruct对池中指令做多轮进化，最后统一做质量过滤。
在工程实践中还有几点需要注意。首先是质量过滤不能省略，无论哪种方法生成的数据都应经过一轮模型评分或规则过滤，剔除回答错误的样本。其次是数据配比，建议保留一部分原始简单数据，简单与复杂数据的比例控制在三比七左右，避免模型只学会复杂任务而忘记基础能力。最后是验证闭环，每轮数据生成后应抽取少量样本人工抽检，发现系统性偏差及时调整提示词模板。
def build_pipeline(seed_pool, target_size, client):
dataset = list(seed_pool)
# 第一阶段：Self-Instruct扩充规模
while len(dataset) < target_size // 2:
ins = generate_new_instruction()
if not is_too_similar(ins):
dataset.append(ins)
# 第二阶段：Evol-Instruct提升复杂度
evolved = [evolve_with_fallback(ins, client) for ins in dataset]
# 第三阶段：合并并控制难度配比
final = dataset[: int(len(dataset) * 0.3)] + evolved
return final总结来说，数据质量是微调成败的决定性因素，而Self-Instruct和Evol-Instruct提供了低成本、可规模化的解决路径。理解两者的原理差异，掌握过滤与回退的关键细节，再结合自身任务特点设计进化策略，就能在没有大量标注预算的情况下，构建出足以支撑高质量微调的数据集。
Self-InstructEvol-Instruct微调数据增强修改时间：2026-08-31 05:55:10