微调AI推理模型时，参数更新策略直接决定显存占用、训练速度与最终效果。全参数微调把模型所有权重都纳入反向传播，表达能力强但门槛高；LoRA冻结主干权重，只训练低秩增量，极大降低训练成本；QLoRA在LoRA基础上引入4位量化，让消费级显卡也能训练大模型。理解它们之间的差异和适用边界，是制定高效微调方案的前提。
全参数微调：效果上限高但资源消耗大
全参数微调是最直接的迁移方式。加载预训练权重后，模型所有线性层、嵌入层和归一化层都参与梯度更新，优化器需要为每个参数保存一阶矩和二阶矩。以7B参数模型为例，使用AdamW时，模型权重本身约28GB（FP32），优化器状态再占56GB，梯度又占28GB，总计约112GB，这还没算激活值和临时缓冲区。因此全参数微调通常需要多张A100或H100级显卡，配合DeepSpeed ZeRO或FSDP才能跑起来。
但这种高成本换来了最大自由度。当微调任务与预训练分布差异较大，或者需要模型学习新的领域知识、格式风格、复杂推理模式时，全参数微调往往能达到更低损失和更好泛化。很多企业级领域模型和指令模型早期阶段都会先做一轮全参数微调，让模型充分吸收新语料。缺点是容易过拟合，小数据集上尤其明显，同时灾难性遗忘风险更高，需要搭配学习率衰减、权重衰减和早停策略。
下面是一个使用Hugging Face Transformers与DeepSpeed进行全参数微调的最小示例。它假设已经准备好JSON格式的指令数据，并配置了DeepSpeed ZeRO-2。
from transformers import AutoModelForCausalLM, AutoTokenizer, TrainingArguments, Trainer
from datasets import load_dataset
model_name = "Qwen/Qwen2.5-7B"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name, torch_dtype="auto")
dataset = load_dataset("json", data_files="train.jsonl", split="train")
def tokenize_func(example):
text = example["instruction"] + "\n" + example["output"]
return tokenizer(text, truncation=True, max_length=1024)
dataset = dataset.map(tokenize_func, batched=True)
training_args = TrainingArguments(
output_dir="./full-finetune",
per_device_train_batch_size=1,
gradient_accumulation_steps=16,
learning_rate=2e-5,
num_train_epochs=3,
logging_steps=10,
save_strategy="epoch",
bf16=True,
deepspeed="ds_config_zero2.json",
)
trainer = Trainer(
model=model,
args=training_args,
train_dataset=dataset,
)
trainer.train()
上面的代码中，batch size设为1是为了在有限显存下配合梯度累积模拟更大批次。实际训练时还要关注数据格式、序列长度分布和评估集，否则很难判断模型是否真的学到了推理能力而不是表面模仿。
LoRA：冻结主权重只练低秩增量
LoRA的核心思路是：大模型在适配下游任务时，权重更新量通常位于低秩空间。于是可以在原始权重矩阵W旁边增加两个小矩阵A和B，用B乘以A来近似更新量ΔW。前向计算变成h = Wx + (b/a)BAx，其中a是缩放系数，通常设为秩r的倍数。训练时W被冻结，只更新A和B。由于A和B的参数远小于原矩阵，可训练参数量能降到原来的千分之一甚至更低。
例如一个4096×4096的权重矩阵，全参数更新需要约1677万参数；如果LoRA秩设为16，A形状为16×4096，B形状为4096×16，总参数约13万，减少超过99%。显存中不再需要保存全量优化器状态，只需保存LoRA参数和对应梯度。更重要的是，训练完成后可以把BA合并回原权重，推理时几乎不增加额外延迟。如果不合并，也可以只保存很小的LoRA适配器，在不同任务间灵活切换。
LoRA的目标模块选择对效果影响很明显。只作用于注意力层的q、v投影是一种常见做法，但很多实验表明同时作用于q、k、v、o以及MLP的gate和up投影通常效果更好，代价是可训练参数量增加。秩r也不是越大越好，过大的秩可能引入冗余甚至过拟合，过小则表达能力不足。一般从8到64之间开始搜索，配合缩放系数alpha保持与r的合适比例。
from peft import LoraConfig, get_peft_model
from transformers import AutoModelForCausalLM, AutoTokenizer
model_name = "Qwen/Qwen2.5-7B"
model = AutoModelForCausalLM.from_pretrained(model_name, torch_dtype="auto")
tokenizer = AutoTokenizer.from_pretrained(model_name)
lora_config = LoraConfig(
r=16,
lora_alpha=32,
target_modules=["q_proj", "k_proj", "v_proj", "o_proj", "gate_proj", "up_proj"],
lora_dropout=0.05,
bias="none",
task_type="CAUSAL_LM",
)
model = get_peft_model(model, lora_config)
model.print_trainable_parameters()
# 输出示例：trainable params: 41,943,040 || all params: 7,615,410,176 || trainable%: 0.55
LoRA训练时，学习率通常可以比全参数微调高一些，例如1e-4到3e-4。由于可训练参数少，收敛速度快，但也需要更多迭代轮次来充分拟合。训练后如需合并权重，调用model.merge_and_unload()即可，这会把LoRA增量写回基础模型，得到一个完整的全参数模型文件，便于后续部署。
QLoRA：4位量化让消费级显卡也能训练
QLoRA是在LoRA基础上进一步压缩显存的技术。它把基础模型量化到4位NormalFloat格式，同时在前向和反向传播时动态反量化到BF16或FP16进行计算，并引入分页优化器处理偶尔出现的内存峰值。这样做的意义在于：同样的7B模型，FP16加载约14GB，4位量化后约4GB，加上LoRA适配器、优化器状态和激活值，单张24GB显卡就能较舒适地训练。
QLoRA的关键在于量化方式与计算精度解耦。存储层使用4位NormalFloat4，计算层使用BF16，既保留量化带来的显存收益，又尽量避免4位精度对梯度更新的破坏。另一个重要组件是分页优化器，当显存紧张时把优化器状态临时换到CPU内存，防止显存溢出。对于消费级显卡，如RTX 4090 24GB或RTX 3090 24GB，QLoRA几乎是微调7B到13B模型的首选。
不过QLoRA并非没有代价。量化会引入额外噪声，收敛曲线可能不如LoRA稳定，最终效果有时略低。为缓解这一问题，通常建议不要量化适配器本身，只量化基础权重；使用梯度检查点降低激活内存；并在训练后期用BF16 LoRA继续短时间微调做恢复。下面的例子通过bitsandbytes的NF4配置加载模型，再套用LoRA。
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer, BitsAndBytesConfig
from peft import LoraConfig, get_peft_model
model_name = "Qwen/Qwen2.5-7B"
bnb_config = BitsAndBytesConfig(
load_in_4bit=True,
bnb_4bit_quant_type="nf4",
bnb_4bit_use_double_quant=True,
bnb_4bit_compute_dtype=torch.bfloat16,
)
model = AutoModelForCausalLM.from_pretrained(
model_name,
quantization_config=bnb_config,
device_map="auto",
trust_remote_code=True,
)
tokenizer = AutoTokenizer.from_pretrained(model_name)
lora_config = LoraConfig(
r=16,
lora_alpha=32,
target_modules=["q_proj", "k_proj", "v_proj", "o_proj", "gate_proj", "up_proj"],
lora_dropout=0.05,
bias="none",
task_type="CAUSAL_LM",
)
model = get_peft_model(model, lora_config)
model.enable_input_require_grads()
这段代码中device_map="auto"让模型自动分布到可用设备，bnb_4bit_use_double_quant=True启用双重量化，进一步减小量化常数占用。启用输入梯度是因为部分模型在仅训练适配器时需要为输入嵌入保留梯度。实际训练时还需要设置gradient_checkpointing_enable=True来降低激活内存，但会稍微增加训练时间。
三种方案如何选择与调参建议
从资源角度看，如果拥有多卡大显存集群，全参数微调仍然是上限最高的方案，尤其适合数据量达到几十万条且任务与预训练差异大的场景。LoRA适合中等资源，显存有限但希望保留较高训练效率和较好效果，同时需要频繁试验不同任务。QLoRA适合单卡消费级硬件，用时间换空间，但需要接受可能的小幅效果损失。
从数据规模看，几千到几万条高质量样本时，LoRA和QLoRA通常能取得与全参数微调接近的效果，且过拟合风险更小。数据量超过数十万条且领域差异明显时，全参数微调的优势会逐渐显现。不要在小数据上盲目全参数微调，那会增加过拟合和遗忘风险。
调参时先固定秩r为16或32，缩放系数alpha设为r的两倍，学习率在LoRA与QLoRA中取1e-4到2e-4，全参数微调取1e-5到5e-5。批次大小尽可能通过梯度累积凑到16或32以上，序列长度按任务分布设定，避免过度截断。训练时监控验证损失和生成样本质量，而不只看损失数值。
常见误区与避坑
一个常见误区是认为LoRA适配器保存很小，就可以随意使用小秩。秩过小会导致模型无法捕捉任务需要的复杂变换，尤其对于推理链、格式严格输出等任务，r=4往往不够。另一个误区是QLoRA训练后直接使用适配器推理，忽略了量化基础模型与适配器之间的兼容性。建议在推理前先合并权重并转为BF16或FP16，如果硬件不支持再保持量化加载，但要确保使用一致的量化配置。
还有开发者只微调注意力层，完全忽略MLP层。对于知识密集型任务，前馈网络存储了大量知识，只练注意力层可能无法有效注入新知识。建议至少把MLP的gate和up投影包含进目标模块。学习率调度也需要针对LoRA调整，余弦退火配合warmup通常比固定学习率更稳定。
评测方面不要只看困惑度。推理模型微调后应重点评测生成质量、指令遵循、推理步骤合理性和幻觉率。可以构造小规模验证集，用人工或强模型打分，结合自动化指标综合判断。训练过程中保存多个检查点，便于对比不同步数下的实际表现，最终选择在验证集上生成质量最好的模型。