大模型的知识来自训练语料，而语料中的信息有对有错，还可能带有偏见。模型一旦训练完成，这些内容就以参数的形式固化下来了。想在部署之后修正某个错误事实，比如把错误的首都信息改回来，或者让模型不再输出带有刻板印象的内容，传统的做法是微调甚至重训，代价高且容易带来副作用。模型编辑（Model Editing）就是针对这个痛点发展起来的技术方向：只改动模型中极小的一部分参数，就能精准地更新一条或多条知识，同时尽量不影响其他能力。这篇文章系统介绍模型编辑的思路、主流方法和实践要点。
模型编辑的核心思想与典型场景
要理解模型编辑，先要理解大模型存储知识的方式。以Transformer架构的自回归语言模型为例，研究普遍认为事实类知识主要集中在前馈层（FFN）的中间层激活中。FFN可以近似看作一个键值存储：中间层的某个维度被激活，相当于命中了一个键，随后映射到输出值，这个值里就编码了具体的知识内容。模型编辑的基本假设是：既然知识有相对集中的存储位置，就可以先定位它，再定点修改。
与微调相比，模型编辑有几个明显不同的目标。第一是精准性，编辑某条知识后，模型对相关问询的正确率要显著提升；第二是局部性，编辑不能破坏模型的其他知识，比如改了某位作家的事实后，模型不能连数学能力都退化；第三是泛化性，编辑要能覆盖同一条知识的多种表述形式，不能只会回答训练时见过的那个句式。这三条也是后续所有评估工作的基本框架。
典型应用场景包括：事实纠错，比如修正过时的公司管理层信息；偏见消除，降低模型对特定群体的刻板关联；安全对齐后的补充修补，处理上线后暴露的个案而不重新对齐整个模型；以及隐私合规，让模型遗忘某些敏感个人信息，这与机器遗忘（Machine Unlearning）也有交叉。
三类主流方法：定位编辑、元学习与超网络
第一类是基于定位与直接修改的方法，代表工作是ROME。ROME的全称是Rank-One Model Editing，它先通过因果追踪（causal tracing）找出对某条事实最关键的FFN层，然后把这个层的键值映射视为一个线性关联矩阵，用秩一更新的方式闭合式地求解出参数修正量，把新事实写入模型。ROME的优点是无需梯度训练，单次编辑速度快，而且理论上明确了知识的存放位置。缺点是它的定位基于单层假设，编辑大量事实时可能互相干扰。
第二类是基于元学习的方法，代表工作是MEND。MEND训练一个额外的低秩辅助网络，输入是编辑样本的梯度，输出是对原始梯度的修正。直觉上，普通微调的梯度会波及大量无关参数，MEND学会把这个梯度重新塑形，让它只集中在与目标知识相关的少数方向上。MEND支持批量编辑，但需要先在大量合成编辑对上预训练辅助网络，前期成本较高。下面用伪代码示意ROME的秩一更新思路：
import torch
# 假设已通过因果追踪定位到第 l 层FFN
# 目标：把知识 x -> y 修改为 x -> y_new
# ROME将FFN视为线性映射 W，求解最小二乘问题后做秩一分解
def rank_one_update(W, k, v_new, alpha=0.1):
"""
W: 定位层的权重矩阵 (d_out, d_in)
k: 输入概念的key向量 (d_in,)
v_new: 期望的新输出方向 (d_out,)
"""
# 构造目标关联矩阵 Delta = v_new @ k^T
delta = torch.outer(v_new, k)
# 秩一更新，alpha控制编辑强度
W_new = W + alpha * delta
return W_new
# 实际ROME使用约束优化保持其他知识不变
# 这里展示的是简化版核心思想第三类是基于超网络和外部记忆的方法，代表工作包括KE、GRACE、MemIt等。这类方法的共同点是编辑时不直接修改主干参数，或者只做很轻的改动。比如GRACE维护一个离散码本，推理时如果某层的激活与码本中的条目距离小于阈值，就用码本中的替代值替换它，相当于在模型外部挂了一层可编辑的记忆。这类方法可逆性好、支持大量编辑，但引入了额外组件，推理路径变长，部署时需要额外的工程适配。
如何评估一次编辑是否成功
评估模型编辑通常看四个维度。一是效力（Efficacy），编辑后对目标事实的直接问询是否答对；二是泛化（Generalization），换一种问法、换成等价表述后是否仍然正确；三是局部性（Locality），对无关问题的输出是否与编辑前保持一致，常用编辑前后 logits 的差异来衡量；四是流畅性（Fluency），生成文本是否自然，有没有因为参数被粗暴改动而出现乱码式的退化。
常用的公开基准包括CounterFact、zsRE和BiasBios等。CounterFact专门构造了大量可反事实修改的事实对，比如把苹果公司的总部城市改成别的城市，用来同时测效力和泛化；BiasBios则用于评估职业性别偏见相关的编辑效果。做自测时，建议准备三套题目：目标题、改写题、无关题，编辑前后各跑一遍，用同一套解码参数对比，避免采样随机性干扰结论。
实践中的难点与注意事项
模型编辑远不是调用一个开源库就能一劳永逸的事。首先是连锁修改问题：现实世界的事实不是孤立的，改了某国首相的名字，相关的一系列事件描述也应该更新，但大多数编辑方法只处理单条三元组，周边知识不会自动跟着变，反而可能出现新旧信息互相矛盾的情况。其次是编辑容量上限，定位类方法在连续编辑几千条事实后，局部性指标会明显下滑，需要借助定期合并或回放机制来缓解。
针对偏见编辑还有额外的复杂性。偏见往往弥散在很多层、很多样本中，不像单条事实那样可以精确定位，直接对某个关联做抑制可能在别的语境下误伤正常表达。实践中更稳妥的做法是把编辑限制在明确的偏见对上，并结合解码阶段的干预，比如对比解码，双管齐下。另外，任何编辑操作都要做好版本管理和回滚预案：编辑前的权重、编辑记录、评估报告都应留档，一旦线上出现问题可以快速恢复。
最后给出工程层面的建议。如果只是少量事实修正，优先尝试ROME或MemIt这类有成熟开源实现的方法；如果需要持续大规模编辑，考虑GRACE式的外部记忆方案，把可编辑部分从主干权重中剥离出来；如果场景涉及合规和遗忘，务必配合法务定义清楚遗忘范围，并用成员推断测试验证遗忘是否达到要求。模型编辑仍在快速演进，把它当作权重管理工具箱中的一件工具，而不是万能补丁，才能在实践中用好它。