图像数据是互联网上体量最大的非结构化数据之一，电商平台の商品主图、社交媒体的用户上传照片、内容社区的封面图，都蕴含着丰富的语义信息。如果只依赖文字标签去理解这些图片，推荐效果往往受限。基于图像处理技术构建推荐系统，核心思路是把图片转换成计算机可比较的特征向量，再通过向量之间的距离度量找到相似内容，最终服务于“看了又看”“相似商品推荐”等业务场景。本文将按照数据准备、图像预处理、特征提取、相似度检索、服务化落地五个阶段，完整拆解这条技术链路。
一、数据准备与图像预处理
推荐系统的第一步永远是把数据整理干净。图像数据在采集过程中会面临尺寸不一、亮度偏差、噪声干扰等问题，直接送入模型会严重影响特征质量。预处理的目的是让所有图片处于统一的规格和分布下，这一步做得越扎实，后面的特征提取越稳定。
常见的预处理操作包括尺寸统一、灰度化、直方图均衡化、噪声滤除和数据增强。尺寸统一通常是把图片缩放或裁剪到模型要求的输入大小，比如224乘224像素；直方图均衡化用于改善光照不均的图片；数据增强则是通过随机旋转、翻转、颜色抖动等方式扩充训练样本，缓解过拟合问题。
下面这段代码演示了基于OpenCV和PIL的标准预处理流程，可以直接用于批量图片处理：
import cv2
import numpy as np
from PIL import Image, ImageEnhance
def preprocess_image(image_path, target_size=(224, 224)):
# 读取图像并统一尺寸
img = cv2.imread(image_path)
if img is None:
raise FileNotFoundError(f"图片不存在: {image_path}")
img = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)
img = cv2.resize(img, target_size, interpolation=cv2.INTER_AREA)
# 轻度去噪，保留边缘细节
img = cv2.bilateralFilter(img, d=5, sigmaColor=50, sigmaSpace=50)
# 直方图均衡化，改善对比度
lab = cv2.cvtColor(img, cv2.COLOR_RGB2LAB)
lab[:, :, 0] = cv2.equalizeHist(lab[:, :, 0])
img = cv2.cvtColor(lab, cv2.COLOR_LAB2RGB)
return img.astype(np.float32)
def augment_image(img):
# 数据增强：随机水平翻转与亮度调整
if np.random.rand() > 0.5:
img = np.fliplr(img).copy()
pil_img = Image.fromarray(img.astype(np.uint8))
enhancer = ImageEnhance.Brightness(pil_img)
factor = 0.8 + np.random.rand() * 0.4
return np.array(enhancer.enhance(factor))
需要注意的一点是，预处理策略要和业务特征匹配。比如服装类商品图背景干净、主体居中，可以省去复杂的去噪步骤；而用户随手拍摄的UGC图片质量参差不齐，就需要更激进的增强和清洗逻辑，必要时还应该用质量评估模型过滤掉模糊图和纯色图，避免垃圾图片污染特征库。
二、特征提取：从传统算法到深度模型
特征提取是整个系统的灵魂，决定了“什么算相似”。早期方案依赖手工设计的局部特征，比如SIFT和ORB，通过关键点匹配来判断两张图是否相似。这类方法在物体姿态变化大的场景下表现不错，但计算开销大，且对语义层面的相似性不敏感——一张猫的照片和一张狗的照片在传统特征上可能很接近，因为它们的纹理结构类似。
深度学习方案则通过卷积神经网络自动学习高层语义特征。对于大多数推荐场景，不建议从零训练模型，直接使用在大规模数据集上预训练好的网络，取其倒数第二层输出作为特征向量，就能获得不错的语义表达能力。以ResNet50为例，一张图片会被编码成一个2048维的向量，向量间的余弦相似度越高，代表图片内容越接近。
import torch
import torchvision.models as models
import torchvision.transforms as T
# 加载预训练模型，去掉最后的分类层
model = models.resnet50(weights=models.ResNet50_Weights.IMAGENET1K_V2)
model = torch.nn.Sequential(*list(model.children())[:-1])
model.eval()
transform = T.Compose([
T.Resize(256),
T.CenterCrop(224),
T.ToTensor(),
T.Normalize(mean=[0.485, 0.456, 0.406],
std=[0.229, 0.224, 0.225]),
])
@torch.no_grad()
def extract_feature(pil_image):
tensor = transform(pil_image).unsqueeze(0)
feature = model(tensor).squeeze().flatten()
# L2归一化，方便后续用内积计算余弦相似度
feature = feature / feature.norm()
return feature.numpy()
如果业务对精度要求更高，可以换用CLIP这类图文对齐模型。CLIP的优势在于它同时理解图像和文本，图像特征空间和文本特征空间是对齐的，用户输入一段文字描述也能直接检索出相关图片，拓展了推荐系统的交互方式。代价是推理开销更大，需要根据线上QPS评估是否做模型蒸馏或量化加速。
三、相似度检索与推荐生成
拿到特征向量之后，推荐问题就转化为向量近邻检索问题。当图片库达到百万甚至亿级规模时，暴力遍历计算余弦相似度完全不可行，必须引入近似最近邻检索框架。业界主流方案是Facebook开源的Faiss，它支持多种索引结构，在召回率和查询速度之间可以灵活权衡。
对于中小规模的图片库，几十万到几百万条向量，推荐使用IVF索引加平面量化器的组合；如果内存紧张，可以叠加乘积量化压缩向量。下面的代码展示了一个完整的索引构建与查询流程：
import faiss
import numpy as np
def build_index(features, nlist=128):
# features为N条2048维的L2归一化向量
dim = features.shape[1]
quantizer = faiss.IndexFlatIP(dim) # 内积即余弦相似度
index = faiss.IndexIVFFlat(quantizer, dim, nlist,
faiss.METRIC_INNER_PRODUCT)
index.train(features)
index.add(features)
return index
def search(index, query_vec, top_k=10):
scores, ids = index.search(
query_vec.reshape(1, -1).astype(np.float32), top_k)
return ids[0].tolist(), scores[0].tolist()
检索回来的结果还不能直接展示给用户，需要叠加一层业务过滤：剔除用户已经购买或点击过的商品、过滤库存为零的下架商品、对同款不同色的商品做去重打散。此外，纯图像相似推荐容易陷入“越推越像”的信息茧房，实践中通常会混合协同过滤信号、热度和新鲜度特征做重排序，让推荐结果既有相关性又有多样性。
四、工程化落地与服务架构
一套可上线的图像推荐系统，离线和在线两部分需要清晰分工。离线链路负责定时扫描新增图片，完成预处理和特征提取，把向量写入Faiss索引并持久化到向量数据库；在线链路接收用户请求，取触发图片的特征向量做近邻检索，经过过滤和排序后返回推荐列表，整体响应时间要控制在百毫秒以内。
架构上有几个实践经验值得参考。特征服务与索引服务分离部署，特征更新采用双缓冲机制，避免索引重建期间的查询抖动；特征向量入库时同时记录图片的业务元数据，检索后直接用图片ID反查商品信息，减少服务间调用；对模型推理部分做批处理，多张图片合并成一次GPU前向计算，吞吐量能提升数倍。
监控同样不可忽视。要持续跟踪推荐点击率、结果多样性指标和索引召回率，当新图片大量入库导致检索质量下降时，及时触发索引重训。特征模型升级时建议做A/B测试，用真实流量验证新特征的实际收益，而不是只看离线评估指标。
五、总结
基于图像处理构建推荐系统，本质上是一条“图像到向量、向量到相似、相似到推荐”的流水线。预处理保证输入质量，预训练模型提供语义特征，Faiss等工具解决大规模检索效率，最后的业务重排决定用户体验上限。建议从一个小规模图片库开始跑通全链路，再逐步引入CLIP等更强的特征模型和混合排序策略，循序渐进地迭代优化，最终让沉睡的图像数据真正转化为推荐效果的增长。