视角冲突是使用MVDream时最容易被吐槽的问题之一：明明是同一个物体，正视图里是一只猫，侧视图里却像换了一只，生成四个视角拼起来无法对齐成完整的三维资产。要真正解决它，得从两个层面入手，一是相机参数的严格对齐，二是让网络内部真正发生跨视角的特征融合。只改其中一层往往效果有限，下面分三个部分展开。
一、相机参数对齐：从坐标系约定到外参矩阵构建
视角冲突的第一大来源是相机外参没有统一的坐标系约定。MVDream沿用了Zero123的视角设定：相机固定在半径为r的球面上，通过方位角azimuth和仰角elevation两个变量控制位置，极角polar固定在固定俯仰（如120度附近），到物体中心的距离也保持一致。四个视角的方位角通常均分360度，这样保证相邻视角间隔一致。如果训练数据和推理时使用的坐标系不一致，比如OpenGL约定Z轴朝上而OpenCV约定Y轴朝上，网络学到的视角条件就会完全错乱，生成结果自然互相打架。
标准做法是用look-at矩阵从球面坐标构造外参。先把方位角和仰角转换为相机在世界坐标系下的位置，再让相机始终看向原点，up向量按约定取固定方向。以下是一段可以直接使用的PyTorch实现：
import torch
import math
def get_look_at_matrix(azimuth, elevation, radius=1.0):
# 方位角和仰角均为弧度
x = radius * math.cos(elevation) * math.sin(azimuth)
y = radius * math.sin(elevation)
z = radius * math.cos(elevation) * math.cos(azimuth)
cam_pos = torch.tensor([x, y, z], dtype=torch.float32)
forward = -cam_pos / torch.norm(cam_pos) # 看向原点
world_up = torch.tensor([0.0, 1.0, 0.0])
right = torch.cross(world_up, forward)
right = right / torch.norm(right)
up = torch.cross(forward, right)
R = torch.stack([right, up, forward], dim=0) # 3x3旋转矩阵
return R, cam_pos
这段代码的关键点在于up向量的选取必须全局一致。如果不同视角用了不同的up方向，即使相机位置正确，画面也会发生旋转偏移，等价于把视角条件搞乱了。另外要注意MVDream原始实现中仰角采样范围通常在负10度到40度之间，推理时应保持相同的先验范围，超出范围的条件embedding会让模型生成不可预期的内容。
二、相机条件的注入方式：embedding编码与CLIP复用
MVDDream并没有直接把旋转矩阵喂给网络，而是将相机外参编码成一个条件向量。具体做法是把3x3的旋转矩阵展平，再拼上归一化的相机距离，通过一个多层感知机映射成与 timestep embedding 同维度的向量，最后加到时间步嵌入上一起注入UNet。这样做的好处是复用了扩散模型原本的条件注入通道，改动量小，且四个视角各自的条件互不干扰。
这里有一个容易踩的坑：归一化。如果距离直接用原始值，数值尺度与旋转矩阵元素不在一个量级，MLP的输入分布会失衡，训练时条件信号被淹没，模型退化成无视角条件的普通生成，视角冲突反而加重。建议把距离除以一个基准半径再输入。示意代码如下：
import torch.nn as nn
class CameraEmbedder(nn.Module):
def __init__(self, out_dim=768):
super().__init__()
# 旋转矩阵9维 + 距离1维
self.mlp = nn.Sequential(
nn.Linear(10, 256),
nn.SiLU(),
nn.Linear(256, out_dim),
)
def forward(self, R, dist, base_radius=1.9):
r_flat = R.reshape(-1, 9)
d = (dist / base_radius).reshape(-1, 1)
return self.mlp(torch.cat([r_flat, d], dim=-1))
如果在你自己的数据上微调，务必保证训练阶段每个batch内四个视角的外参来自同一套构建函数，切勿混用两套坐标系导出的标注文件。很多社区反馈的视角错位问题，最后排查出来都是训练数据里相机矩阵一部分是列主序、一部分是行主序，转置关系没有统一导致的。
三、特征融合：让视角之间真正对话
解决了参数对齐，只是消除了条件层面的冲突，模型内部四个视角的latent在self-attention里默认还是各算各的。MVDream的核心改进正在于此：在UNet的self-attention层中，把batch维度和视角维度重新排列，让同一个空间位置上来自四个视角的token一起参与注意力计算。这样一来，每个视角在生成时都能看到其他视角同位置的特征，几何结构自然趋向一致。
实现上，输入张量形状为(B, M, C, H, W)，其中M是视角数。进入attention前将其reshape成(B, M*H*W, C)的token序列，attention结束后再reshape回原状。注意只需对self-attention动手，cross-attention仍然只与文本条件交互，不需要跨视角。核心代码如下：
import torch
import torch.nn.functional as F
def multiview_self_attention(x, attn_module, num_views=4):
# x: (B, M, C, H, W)
B, M, C, H, W = x.shape
tokens = x.reshape(B, M * H * W, C) # 合并视角与空间维度
out = attn_module(tokens, tokens, tokens)[0]
return out.reshape(B, M, C, H, W)
class CrossViewAttention(nn.Module):
def __init__(self, dim, heads=8):
super().__init__()
self.heads = heads
self.qkv = nn.Linear(dim, dim * 3)
self.proj = nn.Linear(dim, dim)
def forward(self, x):
# x: (B, N, C)，N中前四分之一属于视角一，依此类推
B, N, C = x.shape
qkv = self.qkv(x).reshape(B, N, 3, self.heads, C // self.heads)
q, k, v = qkv.permute(2, 0, 3, 1, 4).unbind(0)
attn = F.scaled_dot_product_attention(q, k, v)
attn = attn.reshape(B, N, C)
return self.proj(attn)
这种做法的代价是attention的序列长度变成原来的M倍，显存和计算量明显上升。如果资源吃紧，可以先只在UNet的中低分辨率层开启跨视角attention，高层保持独立，通常已经能显著缓解主体互斥的问题。另一个进阶方向是借鉴多视角特征提炼的思路，把四个视角的特征投影到共享的三平面表示上再解码，相当于给所有视角一个共同的几何锚点，适合追求更高三维一致性的场景。
总结一下排查路径：先检查相机外参的坐标系、转置和归一化是否统一，再确认条件embedding的数值尺度，最后根据显存预算决定self-attention的跨视角改造范围。三步走完，绝大多数视角冲突都能得到明显改善。