强化学习在机器人控制领域已经展现出惊人的能力，从四足机器人跑到机械臂抓取，仿真训练几乎成了标配流程。但一个绕不开的问题是：仿真环境训练出来的策略，直接部署到真实硬件上往往表现大打折扣，甚至完全失效。这种现象被称为Sim2Real差距。造成差距的原因包括物理建模误差、传感器噪声、执行器响应延迟、通信延迟等一系列现实世界中无法精确建模的因素。本文将从差距的来源分析入手，重点介绍域随机化和域适应两大主流解决思路，并给出实际工程中的落地建议。
Sim2Real差距到底从哪里来
理解差距的来源是选择正确解法的前提。简单来说，仿真器是对现实世界的近似，而近似必然带来误差。这些误差可以归纳为几个类别，每一类都会以不同的方式破坏策略的泛化能力。
第一类是动力学建模误差。仿真器通过物理引擎（如MuJoCo、PyBullet、Isaac Gym）计算刚体运动，但摩擦系数、恢复系数、关节阻尼等参数在真实硬件上难以精确测量。以四足机器人为例，地面摩擦力的微小偏差就可能导致基于仿真摩擦系数训练出的步态在真实地面上打滑甚至摔倒。
第二类是观测误差。真实机器人通过摄像头、IMU、编码器获取状态，这些传感器带有噪声、偏置和延迟，而仿真中的观测往往是干净且即时的。如果策略在训练时从未见过带噪声的观测，部署后就容易对扰动过度敏感。
第三类是执行与通信延迟。从策略计算出指令，到指令下发到电机，再到电机实际响应，中间存在毫秒级甚至几十毫秒的延迟。仿真中如果忽略这一延迟，训练出的高速动作在现实中就会相位错位，精细操作任务尤其明显。
域随机化：让策略在混乱中学会鲁棒
域随机化的核心思想非常直接：既然无法让仿真完全逼真，那就让仿真足够多样。训练时随机化物理参数、观测、外观等各种配置，使得真实世界只是随机化分布中的一个样本，策略自然能够从容应对。这种方式最大的吸引力在于可以实现零样本迁移，即训练完成后不需要任何真实数据微调，直接部署。
物理参数随机化是最常见的做法。典型可随机化的量包括：物体质量、摩擦系数、关节阻尼、电机控制增益、外力扰动等。实现上通常在每次episode重置时从预设区间内采样参数：
import numpy as np
def sample_domain_params():
return {
"mass": np.random.uniform(0.5, 2.0), # 物体质量随机化
"friction": np.random.uniform(0.3, 1.25), # 摩擦系数随机化
"damping": np.random.uniform(0.5, 5.0), # 关节阻尼随机化
"latency": np.random.uniform(0, 0.05), # 动作延迟随机化
"obs_noise": np.random.uniform(0.0, 0.05), # 观测噪声随机化
"p_gain": np.random.uniform(0.8, 1.2), # PD控制器比例增益扰动
}观测层面的随机化同样重要。对状态输入注入高斯噪声、随机延迟若干帧、对图像观测施加亮度色彩扰动、添加随机遮挡贴图等，都是常用手段。对于视觉控制任务，视觉域随机化（如OpenAI在Dactyl项目中使用的做法）包括随机化桌面纹理、光照方向、相机位姿，甚至随机替换物体外观，让策略学会忽略视觉细节、关注本质的空间关系。
域随机化的效果高度依赖随机化区间的设计。区间太窄，覆盖不了真实参数；区间太宽，策略会过于保守，学习难度大增。实践中的经验是：先根据物理直觉或粗略测量给出参数的标称值，再以标称值为中心向两侧扩展随机化范围，同时结合课程学习，从窄区间逐步扩大，避免训练初期任务难度过高导致策略不收敛。
域适应：用真实数据校准两个世界
与域随机化“以不变应万变”的思路不同，域适应试图主动缩小仿真与现实的分布差异。这类方法通常需要少量真实数据参与训练或标定，换来的是更高的部署精度。
最直接的路线是系统辨识，即采集真实机器人的运动数据，反推仿真器中的物理参数。例如在真实四足机器人上执行一段预设计的激励动作，记录关节力矩与运动轨迹，然后通过优化方法（如CMA-ES或梯度下降）调整仿真参数，使仿真轨迹与真实轨迹的误差最小。这样得到的“定制仿真器”能显著减少动力学层面的差距。
另一条路线是表征层面的适应。典型做法如RMA（Rapid Motor Adaptation）：策略分为基础策略和适应模块两部分，基础策略在随机化仿真中训练，适应模块则学习从最近的观测历史中隐式估计当前的域参数，输出一个隐变量嵌入传给基础策略。部署时不需要任何标定，策略能在线识别环境变化并自我调整。这种两阶段架构在四足机器人穿越复杂地形的任务中表现优异。
import torch
import torch.nn as nn
class RMA(nn.Module):
def __init__(self, obs_dim, hist_len, embed_dim, hidden=128):
super().__init__()
# 适应模块：从历史观测序列中估计环境隐变量
self.adapt = nn.GRU(obs_dim, hidden, batch_first=True)
self.proj = nn.Linear(hidden, embed_dim)
# 基础策略：接收当前观测与环境嵌入
self.actor = nn.Sequential(
nn.Linear(obs_dim + embed_dim, hidden),
nn.ReLU(),
nn.Linear(hidden, hidden),
nn.ReLU(),
nn.Linear(hidden, 6), # 输出动作
)
def forward(self, obs, hist):
_, h = self.adapt(hist) # hist形状: [B, T, obs_dim]
z = self.proj(h[-1]) # 环境隐变量
return self.actor(torch.cat([obs, z], dim=-1))对于视觉任务，还有基于对抗训练的隐空间对齐方法：让仿真图像特征和真实图像特征通过判别器对齐，使策略依赖的特征表示在两个域之间保持一致。这类方法在机械臂抓取等依赖视觉闭环的任务中应用广泛，但对真实图像数据的采集量有一定要求。
工程实践：如何组合两条路线
域随机化和域适应并非二选一的关系，成熟的机器人项目往往将两者结合。推荐的工程流程是：先通过系统辨识把仿真器的基础参数校准到合理范围，减少“无谓的”差距；再在定制仿真器上做域随机化训练，覆盖剩余的不确定性；最后视任务精度需求决定是否引入在线适应模块。
延迟和噪声的处理要格外细心。经验做法是训练时固定使用一个略大于实测延迟的随机延迟区间，并在策略推断时保持控制频率与训练一致。此外，动作平滑（如低通滤波或动作速率限制）在真实硬件上几乎是必选项，能显著抑制高频抖动带来的硬件损耗。
评估环节建议采用渐进式验证：先在随机化范围中点对应的仿真配置下回归测试，再在真实硬件的受限环境（低增益、悬挂保护）中短时试运行，逐步放开限制。每一步都记录失败模式并反馈到随机化配置中，形成闭环迭代。Sim2Real不是一个能一次性解决的问题，而是一个持续标定、训练、验证的迭代过程。掌握了域随机化打底、域适应精修这套组合拳，绝大多数机器人控制任务都能实现平稳的仿真到现实迁移。
Sim2Real差距域随机化强化学习修改时间：2026-09-11 01:02:47