Blip-2在开源社区里算是视觉语言模型的一个里程碑，它用Q-Former这个轻量级模块把视觉编码器和语言模型连起来，训练成本比端到端方案低了一个量级。不过官方放出来的预训练权重是通用场景的，拿到医疗影像、工业质检、电商商品理解这类垂直领域，效果往往打折扣，这时候微调就成了绕不开的一步。本文把微调Blip-2过程中最关键的两件事拆开讲清楚：一是图文多模态数据集怎么构建，二是Q-Former部分怎么训才不会把预训练能力破坏掉。
一、先搞懂Q-Former的结构，才知道该微调哪一部分
Blip-2由三块组成：图像编码器（默认ViT-g/14，来自EVA-CLIP）、Q-Former（核心桥梁模块）和语言模型（可以是OPT也可以是FlanT5）。Q-Former内部包含32个可学习的查询向量（query embeddings），这些query通过交叉注意力机制不断从冻结的视觉特征里“抽取”信息，最终输出固定长度为32的特征序列，再交给语言模型解码生成文本。
这个设计的巧妙之处在于，视觉编码器和语言模型在预训练阶段都可以完全冻结，只训Q-Former这一个亿级参数的模块，训练开销大幅下降。官方训练分两个阶段：第一阶段冻结图像编码器，用对比学习、图文匹配、字幕生成三类任务联合训练Q-Former，让它学会“看懂图”；第二阶段把Q-Former的输出接到冻结的语言模型上，用生成式损失训练桥接层，让它学会“把看到的说出来”。
微调时的参数选择就建立在这个结构之上。经验上有三种策略：只训Q-Former、Q-Former加语言模型一起LoRA微调、全部解冻端到端训。垂直领域数据量在几万到几十万图文对这个量级时，第二种方案通常性价比最高，第一种容易遇到Q-Former表达能力受限的问题，第三种则容易把语言模型原本的指令遵循能力冲掉，小数据集上尤其明显。
二、图文多模态数据集的构建流程
数据质量对微调效果的影响远超训练技巧。一份能用的多模态数据集，构建流程大致分为数据收集、清洗、字幕质量提升、指令化改造四步。
第一步是收集原始图文对。来源无非三种：业务系统里已有的图文数据（比如商品库的主图加标题描述）、公开数据集（COCO、Flickr30K、Laion系列）、以及用模型自己生成再人工抽检的数据。垂直场景优先用自有数据，因为公开数据集的分布和业务场景往往差得很远。
第二步是清洗，这一步最容易被忽视。需要处理的问题包括：重复图片（用感知哈希pHash去重）、低分辨率图（短边低于224像素的直接丢弃，因为ViT的输入尺寸是224）、图文不匹配对（可以用CLIP算相似度分数，把低于阈值的样本过滤掉）、以及文本中的噪声（HTML标签、乱码、超长文本截断）。实际项目中，清洗掉两三成脏数据后模型效果反而提升的情况很常见。
第三步是字幕质量提升。很多业务数据的描述文本很短，比如电商场景里只有商品标题，信息密度不够。常见做法是用Blip-2自己先跑一遍字幕生成，把生成结果和原始文本做融合，必要时再过一遍人工抽检。这里有个技巧：生成时用beam search并设置一定的diversity，多条候选里挑CLIP分数最高的那条，质量比单次贪心解码稳定得多。
第四步是指令化改造。如果希望微调后模型支持问答式交互，需要把数据转成对话格式，下面是一个标准的样本结构：
import json
# 单条训练样本：图片路径 + 多轮对话格式的指令数据
sample = {
"image": "images/train/000123.jpg",
"conversations": [
{
"from": "human",
"value": "<Img></Img>这张图里的产品有什么质量问题？"
},
{
"from": "gpt",
"value": "图中产品表面存在约2厘米的划痕，位于左下角区域，边缘有轻微变形。"
}
]
}
# 注意：图片占位符会被处理器替换为实际的图像token
with open("train.json", "a", encoding="utf-8") as f:
f.write(json.dumps(sample, ensure_ascii=False) + "\n")
指令数据的多样性很关键。同一个图片可以构造多问多答，比如先问“图里有什么”，再追问“数量是多少”“位置在哪”，这样模型能学到上下文连贯的多轮对话能力，而不是只会一问一答。
三、Q-Former微调的代码实现
下面基于HuggingFace的transformers库实现微调。核心思路是冻结视觉编码器，对Q-Former全参数训练，对语言模型用LoRA做低秩适配，这样在单张24G显卡上就能跑起来。
import torch
from transformers import Blip2Processor, Blip2ForConditionalGeneration
from peft import LoraConfig, get_peft_model
model_name = "Salesforce/blip2-flan-t5-xl"
processor = Blip2Processor.from_pretrained(model_name)
model = Blip2ForConditionalGeneration.from_pretrained(
model_name,
torch_dtype=torch.float16, # 半精度省显存
device_map="auto"
)
# 第一步：冻结视觉编码器和Q-Former之外不需要动的部分
for param in model.vision_model.parameters():
param.requires_grad = False
# 第二步：给语言模型挂上LoRA，Q-Former保持全参数可训练
lora_config = LoraConfig(
r=16,
lora_alpha=32,
target_modules=["q", "v"], # T5的注意力投影层
lora_dropout=0.05,
bias="none"
)
model.language_model = get_peft_model(model.language_model, lora_config)
# 检查可训练参数量
trainable = sum(p.numel() for p in model.parameters() if p.requires_grad)
total = sum(p.numel() for p in model.parameters())
print(f"可训练参数占比: {trainable / total:.2%}")
训练循环部分有一个细节要特别注意：多模态输入里，损失只能算在文本token上，图片token部分的标签要设为-100，否则会把噪声混进损失里。HuggingFace的processor已经帮我们处理好了图片部分的输入构造，但标签掩码需要自己确认。
from torch.utils.data import DataLoader
def train_one_epoch(model, loader, optimizer, device):
model.train()
total_loss = 0
for batch in loader:
pixel_values = batch["pixel_values"].to(device)
input_ids = batch["input_ids"].to(device)
attention_mask = batch["attention_mask"].to(device)
labels = input_ids.clone()
labels[labels == processor.tokenizer.pad_token_id] = -100
loss = model(
pixel_values=pixel_values,
input_ids=input_ids,
attention_mask=attention_mask,
labels=labels
).loss
loss.backward()
torch.nn.utils.clip_grad_norm_(
[p for p in model.parameters() if p.requires_grad], 1.0
)
optimizer.step()
optimizer.zero_grad()
total_loss += loss.item()
return total_loss / len(loader)
四、训练细节与调参经验
学习率的设置需要分层考虑。Q-Former是全参数微调，学习率要小，一般2e-5到5e-5之间；LoRA部分可以给大一点，1e-4到3e-4都合理。两者共用一个优化器时取个折中值，或者干脆建两个参数组分别控制，后者更稳妥。
显存优化方面，除了半精度和LoRA，还可以开启gradient checkpointing，Q-Former的交叉注意力层比较吃显存，开启后训练速度慢三成左右，但显存能省接近一半。batch size建议从8开始试，配合梯度累积做到等效batch size 32，这个规模在几万张图的数据集上训练3个epoch通常就够了。
过拟合的判断标准不是看训练损失，而是看验证集上的生成质量。多模态任务里交叉熵损失下降但生成内容越来越死板、只会复读训练集句式的情况很常见，这时候可以加强数据增强（随机裁剪、颜色抖动）、加大LoRA的dropout、或者减少epoch。建议每个epoch存一次checkpoint，用人工评估加CLIP分数结合的方式挑最好的那个，而不是简单取最后一个。
最后提醒一点，微调完记得对Q-Former的输出做一次sanity check：拿几张训练集外的图跑推理，观察生成的描述是否还保持通用能力。如果发现模型只会说垂直领域的词，说明 catastrophical forgetting 发生了，可以混入10%左右的通用图文数据做replay，通常能明显缓解。整个微调流程跑通之后，建议把数据构建脚本、清洗规则、超参数一起版本化管理，方便后续迭代复现。