SwiGLU这个名字近几年在深度学习领域出现的频率非常高，LLaMA、PaLM、Qwen等主流大语言模型的前馈网络层几乎清一色采用了这个结构。不少人在读论文或者看开源代码时，会发现它其实就是把门控线性单元GLU和Swish激活函数组合到一起，原理并不深奥，但真正动手实现时却经常遇到维度对不上、参数量算不清、激活函数位置放错等问题。这篇文章就把SwiGLU的来龙去脉和完整实现讲清楚。
从GLU到SwiGLU：门控机制到底在做什么
要理解SwiGLU，得先回到2017年提出的门控线性单元GLU（Gated Linear Unit）。GLU的核心思想是把输入分成两路，一路保持线性，另一路经过Sigmoid函数变成0到1之间的权重，然后逐元素相乘。数学上可以写成：GLU(x) = (xW + b) ⊗ σ(xV + c)，其中σ是Sigmoid函数，⊗表示逐元素乘法。经过Sigmoid的那一路就像一扇门，决定线性那一路的每个特征有多少信息能通过，这就是门控二字的由来。
原始GLU里的门控用的是Sigmoid，而后续研究提出可以把Sigmoid换成其他激活函数，由此衍生出一批变体：换成ReLU得到ReGLU，换成GeLU得到GeGLU，换成Swish就得到了SwiGLU。Swish函数的表达式是 x · σ(βx)，当β取1时也叫SiLU。Swish在深层网络中表现稳定，梯度平滑，比ReLU更不容易出现神经元死亡的问题，这让它成为门控函数的理想选择。
SwiGLU的完整表达式为：SwiGLU(x) = Swish(xW) ⊗ (xV)。注意这里有一个容易被忽略的细节：门控分支和值分支通常都不加偏置项，因为逐元素相乘本身已经引入了非线性交互，偏置的贡献非常有限，去掉之后还能减少参数和计算量。主流大模型的实现基本都遵循这个约定。
为什么标准FFN要改成SwiGLU：结构对比与参数量分析
Transformer原始论文中的前馈网络是两层全连接加ReLU，中间维度通常是隐藏维度的4倍，即 FFN(x) = ReLU(xW1)W2。如果直接把FFN改成SwiGLU，需要三个投影矩阵：一个Swish分支、一个门控分支、一个输出投影，参数量从原来的 2·d·4d 变成了 3·d·d_ff。为了保持参数量与原始FFN基本一致，实践中通常把中间维度从4d压缩到约三分之八倍，也就是 2/3 · 4d ≈ 8d/3，再向上取整到某个倍数（比如256的倍数）以利于硬件对齐。
以LLaMA为例，隐藏维度 d=4096 时，标准FFN的中间维度是16384，而SwiGLU版本取11008，这个数字正是16384乘以2/3再向上取整到256的倍数。理解了这个换算关系，再看开源代码里的超参数配置就不会一头雾水了。
从效果上看，SwiGLU在同等参数量下的语言建模困惑度普遍优于ReLU和GeLU版本，PaLM的消融实验也验证了这一点。代价是矩阵乘法从两次变成三次，计算量略有增加，但在大模型场景下这点开销换来的是收敛质量和最终精度的提升，性价比很高。
PyTorch完整实现：从手写版本到融合投影写法
下面给出最直接的手写实现，适合用来理解数据流向。输入x经过两个独立的线性层分别得到gate和up，gate经过Swish激活后与up逐元素相乘，最后过输出投影层down：
import torch
import torch.nn as nn
import torch.nn.functional as F
class SwiGLUFeedForward(nn.Module):
def __init__(self, d_model, d_ff=None, bias=False):
super().__init__()
# 默认取 8/3 倍隐藏维度，保证参数量与标准FFN接近
if d_ff is None:
d_ff = int(8 * d_model / 3)
self.w_gate = nn.Linear(d_model, d_ff, bias=bias) # Swish分支
self.w_up = nn.Linear(d_model, d_ff, bias=bias) # 门控值分支
self.w_down = nn.Linear(d_ff, d_model, bias=bias) # 输出投影
def forward(self, x):
# F.silu 就是 Swish(beta=1)，即 x * sigmoid(x)
return self.w_down(F.silu(self.w_gate(x)) * self.w_up(x))
# 简单验证
ffn = SwiGLUFeedForward(d_model=512)
x = torch.randn(2, 128, 512) # batch, seq_len, d_model
out = ffn(x)
print(out.shape) # torch.Size([2, 128, 512])上面的实现直接用了F.silu，它等价于Swish在β=1时的取值，也是所有主流大模型实际采用的配置。如果你希望自己控制β参数，可以手动写出Swish函数：
def swish(x, beta=1.0):
# Swish 激活函数：x * sigmoid(beta * x)
return x * torch.sigmoid(beta * x)
# 带beta参数的门控前馈层
class GatedFFN(nn.Module):
def __init__(self, d_model, d_ff, beta=1.0):
super().__init__()
self.beta = beta
self.w1 = nn.Linear(d_model, d_ff, bias=False)
self.w3 = nn.Linear(d_model, d_ff, bias=False)
self.w2 = nn.Linear(d_ff, d_model, bias=False)
def forward(self, x):
return self.w2(swish(self.w1(x), self.beta) * self.w3(x))实际工程中还有一种更高效的写法，把gate和up两个投影合并成一个大矩阵，一次矩阵乘法同时算出两个分支，再用张量拆分分开。这种写法在推理框架里很常见，能减少算子调用次数，提高GPU利用率：
class FusedSwiGLU(nn.Module):
def __init__(self, d_model, d_ff):
super().__init__()
# gate和up合并：输出维度为 2 * d_ff
self.in_proj = nn.Linear(d_model, 2 * d_ff, bias=False)
self.out_proj = nn.Linear(d_ff, d_model, bias=False)
def forward(self, x):
combined = self.in_proj(x)
gate, up = combined.chunk(2, dim=-1) # 沿最后一维拆分
return self.out_proj(F.silu(gate) * up)实现时最容易踩的四个坑
第一个坑是维度不匹配。SwiGLU要求gate和up两个分支的形状完全一致，否则逐元素乘法会直接报错。如果代码里gate用了一个中间维度、up用了另一个，说明两个投影层的配置写错了，务必保证w_gate和w_up的输出维度相同。
第二个坑是激活函数放错分支。Swish应该作用在gate分支上，而不是up分支，更不能两个分支都激活。有些实现把激活函数放在相乘之后，那就完全失去了门控的意义，变成了一个奇怪的普通FFN。正确的顺序是：先激活gate，再与up相乘，最后过输出投影。
第三个坑是中间维度照抄4倍。如果直接沿用标准FFN的4d作为d_ff，参数量会膨胀到原来的1.5倍，和对照组比较就失去了公平性。正确的做法是按8/3倍计算，并向上取整到硬件友好的倍数，比如256或128的整数倍。
第四个坑是偏置项的取舍。虽然加上偏置在数学上不算错误，但主流大模型的实现全部省略了三个投影层的偏置。一方面是为了节省参数，另一方面偏置在门控结构中收益极小，还可能影响某些量化方案的精度。除非有特殊需求，建议统一设置bias=False。
把这几个点搞清楚之后，SwiGLU的实现其实非常简单，核心逻辑一行话就能概括：先激活、再相乘、后投影。无论是复现开源大模型还是设计自己的网络结构，掌握门控线性单元与激活函数的融合思路，都能让你在前馈层的设计上多一个经过大规模验证的可靠选项。