全参数微调一个7B规模的模型，光是优化器状态和梯度就需要上百GB显存，普通消费级显卡根本扛不住。参数高效微调（Parameter-Efficient Fine-Tuning，PEFT）的核心思路是冻结预训练模型的绝大部分参数，只在推理路径上插入一小部分可训练参数，训练结束后合并或挂载这些参数即可。这样做的直接好处有三个：显存需求大幅下降、训练产物只有几MB到几百MB、多任务切换时不需要保存多份完整模型权重。目前工业界落地最广泛的四种方案是LoRA、AdaLoRA、QLoRA和IA3，它们代表了不同的技术路线，各有适用场景。
LoRA：低秩分解的经典基线
LoRA（Low-Rank Adaptation）的出发点很朴素：微调时权重的变化量本身是低秩的。既然如此，就不必直接更新权重矩阵W，而是把增量分解为两个低秩矩阵的乘积：W' = W + BA，其中B的维度是d×r，A是r×d，秩r通常取8到64。训练时W被冻结，只更新A和B，参数量从d²骤降到2dr。
以LLaMA-7B为例，一个4096×4096的全连接层有约1600万参数，取r=8时LoRA只需约6.5万参数，压缩了两个数量级。更关键的是，LoRA矩阵是旁路结构，推理时可以把BA合并进W，不引入任何额外推理延迟，这是它相对于Adapter串行结构的最大优势。LoRA的缺点是所有层的秩r都是固定的，无法根据层的重要性动态分配参数预算，r设小了欠拟合，设大了浪费显存。
实际使用中，LoRA一般只挂在注意力层的q_proj和v_proj上就能取得接近全参微调的效果，如果任务与模型预训练分布差异较大，再扩展到k_proj、o_proj和FFN层。
from peft import LoraConfig, get_peft_model
from transformers import AutoModelForCausalLM
model = AutoModelForCausalLM.from_pretrained("meta-llama/Llama-2-7b-hf")
config = LoraConfig(
r=8, # 秩，常见取值 8/16/32
lora_alpha=16, # 缩放系数，一般设为 r 的 2 倍
target_modules=["q_proj", "v_proj"], # 挂载位置
lora_dropout=0.05,
task_type="CAUSAL_LM"
)
model = get_peft_model(model, config)
model.print_trainable_parameters()
# 输出示例：trainable params: 4,194,304 || all params: 6,742,609,920 || trainable%: 0.06AdaLoRA与QLoRA：两种不同方向的进化
AdaLoRA解决的是LoRA秩分配不灵活的问题。它基于重要度评分（对奇异值做近似SVD分解的敏感性分析）动态调整每个LoRA模块的秩：重要的注意力头分配更高的秩，不重要的逐步裁剪。整个过程类似预算约束下的参数分配优化，在总参数预算固定的前提下，AdaLoRA通常能比均匀分配秩的LoRA获得更低的损失。代价是训练流程更复杂，需要维护重要度评分与正则化项，训练时间比LoRA长约20%到30%。
QLoRA走的是另一条路：压显存。它把冻结的基础模型量化为4比特（NF4数据类型，一种针对正态分布权重优化的分位数量化格式），LoRA可训练参数保持bf16精度，再配合双重量化和分页优化器，实现在单张48GB显卡上微调65B模型。其核心洞见是：量化只作用于冻结权重，不会参与梯度计算，因此4比特带来的精度损失对最终微调效果影响极小。实测QLoRA在相同LoRA配置下与bf16微调效果基本持平，但显存占用降到原来的三分之一左右。
from transformers import BitsAndBytesConfig
from peft import prepare_model_for_kbit_training
bnb_config = BitsAndBytesConfig(
load_in_4bit=True,
bnb_4bit_quant_type="nf4", # NF4 分位数量化
bnb_4bit_use_double_quant=True, # 双重量化，进一步省显存
bnb_4bit_compute_dtype="bfloat16" # 计算时反量化到 bf16
)
model = AutoModelForCausalLM.from_pretrained(
"meta-llama/Llama-2-7b-hf",
quantization_config=bnb_config,
device_map="auto"
)
model = prepare_model_for_kbit_training(model)
# 之后再按普通方式挂载 LoRA 即可IA3：极致轻量的缩放向量方案
IA3（Infused Adapter by Inhibiting and Amplifying）比LoRA更加激进。它不新增任何矩阵结构，而是为注意力层的key、value和FFN的激活输出各学习一个缩放向量，用重参数化的方式对激活值做放大或抑制。参数量只有原始模型的0.01%到0.03%，是四种方法中最小的，训练产物往往只有几十KB到几MB。
IA3的学习本质是对模型内部表征做微调式的校准，因此收敛快、训练开销小，特别适合指令跟随、风格适配这类与预训练能力接近的任务。但由于表达能力受限于逐维缩放，在知识密集型或与预训练分布差异大的任务上，效果通常明显弱于LoRA系方法。另外IA3的缩放向量可以与权重合并，推理同样零开销。
from peft import IA3Config
config = IA3Config(
target_modules=["k_proj", "v_proj", "down_proj"],
feedforward_modules=["down_proj"],
task_type="CAUSAL_LM"
)
model = get_peft_model(model, config)
# 7B 模型上可训练参数通常只有 2M 左右四种方法横向对比与选型建议
下面这张表汇总了四种方法在7B规模模型上的典型数据，数据为社区常见配置下的参考值，具体数值会随目标模块数量和序列长度浮动。
| 方法 | 可训练参数占比 | 7B模型微调显存 | 效果（相对全参微调） | 额外推理延迟 |
|---|---|---|---|---|
| LoRA | 约0.1%到1% | 16到22GB | 95%到100% | 合并后为零 |
| AdaLoRA | 与LoRA同预算 | 18到24GB | 与LoRA持平或略优 | 合并后为零 |
| QLoRA | 与LoRA相同 | 6到10GB | 接近LoRA | 合并后为零（需反量化合并） |
| IA3 | 约0.01%到0.03% | 14到18GB | 85%到95%，任务相关 | 合并后为零 |
选型逻辑可以这样梳理：显存充足、追求效果上限，直接用LoRA，r取16或32并覆盖全部线性层；单卡24GB甚至更小的卡，QLoRA是首选，几乎免费的显存压缩；参数预算极其敏感、任务偏轻量适配，选IA3；想要在固定参数预算下榨取效果，且能接受更长训练时间，可以尝试AdaLoRA。
还有一个容易被忽略的工程细节：PEFT方法的显存大头往往不是可训练参数本身，而是激活值缓存和优化器对LoRA参数的状态。增大batch size之前先开gradient checkpointing，往往比换PEFT方法更能省显存。综合来看，对绝大多数团队，QLoRA加适度秩的LoRA配置，是效果、成本、工程复杂度三者的最佳平衡点。