在序列建模领域，Transformer凭借自注意力机制成为主流，但其计算开销随输入长度增长而急剧上升。状态空间模型（SSM）尤其是Mamba架构，通过线性递推改写序列计算方式，试图解决这一瓶颈。理解二者复杂度的本质区别，需要从数学定义和硬件执行两个层面切入。
自注意力与状态空间模型的数学形式差异
传统Transformer的核心操作是自注意力，给定序列长度L，注意力分数需计算所有位置两两之间的相似度，形成L乘L的矩阵。这一步的浮点运算量约为2L的平方乘维度d，即O(L²d)。当L从512增至8192，计算量放大两百多倍，显存中还需常驻该平方矩阵，导致长上下文训练几乎不可行。自注意力本质上是对全局依赖的显式枚举，位置越多，枚举成本越高。
状态空间模型将序列视为连续系统离散化后的观测。标准SSM定义为状态方程h'(t)=Ah(t)+Bx(t)与输出y(t)=Ch(t)，离散后变为h_k=Āh_{k-1}+B̄x_k。Mamba在此引入选择性机制，使A、B、C随输入变化，但状态维度N固定。计算时只需维护N维状态向量，每步更新为O(Nd)，总复杂度O(LNd)。由于N通常远小于L，且不与L绑定，复杂度表现为线性。下面用伪代码展示两者核心循环差异。
# Transformer自注意力简化开销（忽略softmax）
import numpy as np
L, d = 8192, 512
# 相似度矩阵
scores = np.zeros((L, L))
for i in range(L):
for j in range(L):
scores[i, j] = sum(x[i, k] * x[j, k] for k in range(d)) # O(L^2*d)
# Mamba风格线性扫描
N = 64
h = np.zeros(N)
for k in range(L):
A_bar, B_bar, C = get_selective_params(x[k]) # 随输入变
h = A_bar @ h + B_bar * x[k] # O(N*d)
y[k] = C @ h # O(N)
从表达式看，Transformer的平方项来自位置间全连接，而SSM的线性来自状态传递。Mamba的选择性参数虽增加每步计算常数，却不改变线性阶数。这意味着在理论渐近复杂度上，SSM对长序列具备压倒性优势，但实际常数因子与硬件利用率会削弱该优势。
训练与推理阶段硬件层面的复杂度表现
训练时Transformer可利用高度并行的矩阵乘法，平方矩阵虽大但GPU吞吐效率高，短序列下实际耗时可能低于SSM的扫描核。Mamba的递推依赖前一步状态，难以像注意力那样完全并行，需借助内核融合与卷积形式近似并行，带来额外实现成本。因此在L小于两千的常见微调场景，Transformer仍更快且生态成熟。
推理生成阶段差异更明显。Transformer每生成一个新token需重新计算全部历史注意力，复杂度O(L²)随已生成长度累积；Mamba只需固定维度状态，生成成本为O(L)总时间、单步O(1)状态更新。以下代码对比自回归步的伪实现。
# Transformer自回归生成单步
def transformer_step(past_keys, past_values, new_x):
# past长度随步数增长
scores = q(new_x) @ past_keys.T # O(L*d)
out = scores @ past_values
return out, append(past_keys, q(new_x))
# Mamba自回归生成单步
def mamba_step(state, new_x):
A_bar, B_bar, C = get_selective_params(new_x)
state = A_bar @ state + B_bar * new_x # O(N)
return C @ state, state # 状态不随L增长
实测显示，在序列长度超过八千时，Mamba的端到端延迟可为同参数量Transformer的三分之一以下，显存占用从几十GB降至数GB。但短文本批处理中，Transformer内核优化更好，差距缩小甚至反超。选型应依据业务序列分布而非单纯复杂度阶数。
实际工程中的权衡与混合架构思路
单纯比较渐进复杂度会忽略常数与系统开销。Mamba的选择性扫描需自定义CUDA内核，普通开发者部署门槛高；Transformer有成熟框架与量化工具。若业务以千字以内对话为主，Transformer性价比更高。对于文档级理解或基因组序列，线性复杂度直接决定能否落地。
混合架构正成为趋势，例如在底层用Mamba扫掠长上下文，上层接数层局部注意力做精细交互。这种组合保留线性主干，又借注意力补足选择性短板。下表列出典型配置差异。
| 维度 | Transformer | Mamba |
|---|---|---|
| 训练并行度 | 高，全序列矩阵 | 中，需内核融合 |
| 长序列显存 | O(L²) | O(L+N) |
| 推理单步 | O(L) | O(1)状态 |
| 短序列速度 | 快 | 略慢 |
工程落地建议先用量级评估：若L峰值低于四千且迭代频繁，沿用Transformer；若L常驻数万并需实时生成，Mamba或混合体更合适。复杂度公式只是起点，结合数据分布与硬件画像才能得出可信结论。
state_space_modelMambaTransformer修改时间：2026-08-13 10:39:40