宇宙学数据分析中最棘手的问题之一，是某些参数区间内实测样本数量严重不足。比如高红移星系、低质量暗晕或稀有暂现源，往往在巡天数据中只有几十个甚至几个事例。传统统计方法在这种稀疏条件下几乎无法给出稳定推断，而深度学习模型虽然表达能力强，但如果没有足够的训练数据，同样会陷入过拟合。一个自然的思路是：既然真实观测不够，能不能用数值模拟来补足？但模拟数据并不是观测数据的完美替身，直接混合训练往往会引入模拟偏差。因此，如何让模拟与观测协同工作，成为解决宇宙数据稀疏性的关键。
从数据科学角度看，稀疏性不仅是样本数量的绝对缺失，还表现为高维空间中的分布不均。例如在暗能量巡天中，星系形状测量的样本量很大，但红移大于2的亮红星系却很少；在星系团质量估计中，强透镜事件的数量远少于弱透镜背景星系。这种条件下，如果直接训练一个从图像到物理参数的映射，模型会倾向于记忆少数样本的特征，而对未覆盖区域产生荒谬的外推。数值模拟的价值在于，它可以在任意参数组合下生成海量样本，且标签完全已知。但模拟的物理模型、分辨率、子网格物理等都会引入无法忽略的系统误差。因此，问题从“有没有数据”变成了“如何把不完美的模拟数据与少量高价值观测数据结合起来”。
宇宙观测数据的稀疏性从何而来
观测稀疏性的第一个来源是望远镜资源的物理限制。大口径望远镜的观测时间按小时甚至按分钟分配，而深场观测需要长时间曝光才能获得足够信噪比。对于遥远或暗弱天体，一次曝光可能只有几个光子被探测到。这导致巡天项目必须在天区覆盖、深度和光谱完备性之间做出取舍。例如斯隆数字巡天获取了上百万条星系光谱，但高红移类星体的光谱样本仍相对稀少；而暗能量光谱仪虽然目标数量巨大，但对于特定发射线星系的选择函数仍然复杂。
第二个来源是选择效应与探测偏差。望远镜和探测器对不同亮度、颜色、形态的天体有不同的灵敏度，观测到的样本往往偏向于明亮、近邻、大质量的系统。这种非随机缺失与完全随机缺失不同，它会扭曲样本分布，使得后续的统计推断产生偏差。例如，仅用观测到的星系团质量函数来约束宇宙学参数，必须仔细建模质量选择函数，而选择函数本身又依赖于模拟或经验校准。如果忽略选择效应，最终得到的参数估计可能完全偏离真实值。
第三个来源是参数空间的维度灾难。宇宙学数据往往涉及红移、恒星质量、环境密度、形态、恒星形成率等多个维度。即使总样本量达到百万级别，在几十维空间中依然稀疏。机器学习中常用的最近邻方法在高维下会变得不稳定，因为所有点之间的距离趋于相等，局部结构不复存在。因此，单纯提高望远镜巡天面积并不能从根本上解决所有子区域的稀疏问题，必须依靠物理先验或模拟数据来填充高维空间中的空洞。
数值模拟如何生成虚拟宇宙
数值模拟的核心是求解宇宙学框架下的引力与流体动力学方程。N体模拟跟踪大量暗物质粒子在膨胀宇宙中的运动，从初始密度扰动的线性增长一直演化到非线性结构形成。现代N体模拟可以包含数千亿个粒子，在数百亿光年的尺度上再现宇宙网结构。而流体力学模拟则进一步包含重子物质、辐射冷却、恒星形成、超新星反馈等过程，生成星系的恒星质量、气体温度、金属丰度等可观测属性。这些模拟输出的每个虚拟天体的位置、质量、红移和光度都是已知的，因此可以作为有标签数据来训练监督学习模型。
以一个简化的二维密度场生成为例，下面这段Python代码利用高斯随机场来模拟宇宙大尺度结构。真实模拟远比这复杂，但它展示了如何通过功率谱生成具有统计特性的随机场。
import numpy as np
import matplotlib.pyplot as plt
# 生成一个高斯随机场，模拟宇宙密度涨落
def generate_density_field(size, power_spectrum_index=-2.0, seed=42):
rng = np.random.default_rng(seed)
kx = np.fft.fftfreq(size)
ky = np.fft.fftfreq(size)
kx, ky = np.meshgrid(kx, ky)
k = np.sqrt(kx**2 + ky**2)
k[0, 0] = 1.0 # 避免除零
amplitude = k ** (power_spectrum_index / 2.0)
noise = rng.normal(size=(size, size)) + 1j * rng.normal(size=(size, size))
field_ft = noise * amplitude
field = np.fft.ifft2(field_ft).real
field = (field - field.min()) / (field.max() - field.min())
return field
density = generate_density_field(128)
print("模拟密度场形状:", density.shape)
这段代码在傅里叶空间对随机相位按功率谱加权，再逆变换回实空间，得到一个具有自相似结构的密度场。虽然它没有包含引力的非线性演化，但已经可以用于测试图像分割或密度峰值提取算法。真正的宇宙学模拟通常使用Gadget、RAMSES、IllustrisTNG等代码，它们在超算上运行数周甚至数月，输出庞大的粒子数据。对于数据科学研究而言，可以使用公开的模拟目录，例如IllustrisTNG释放的星系目录，或者使用基于半解析模型快速生成的模拟星表。
模拟数据的另一个优势是可控性。研究者可以固定所有宇宙学参数，只改变某个子网格物理参数，生成不同反馈强度下的样本，从而研究该参数对观测量的影响。这种因果实验在真实观测中无法进行，因为宇宙只有一个，我们无法“重跑”历史。因此，模拟数据对于训练物理信息神经网络或进行敏感性分析尤其宝贵。
模拟与观测的融合策略
最简单的融合方式是直接把模拟数据和观测数据拼接在一起训练模型，但这通常会导致模型偏向模拟分布。因为模拟样本量远大于观测样本量，模型会优先拟合模拟的统计特征，而忽视观测中存在的系统差异。更好的做法是采用迁移学习：先在大量模拟数据上预训练一个深度神经网络，然后在少量观测数据上对最后一层或全网络进行微调。微调过程中使用较小的学习率和早停策略，防止过拟合观测样本。例如在星系形态分类任务中，可以用模拟图像训练一个卷积神经网络，再将真实巡天图像的标注样本加入微调，显著提升小样本下的分类精度。
另一种更严谨的方法是域适应。域适应的目标是让模型在源域（模拟）和目标域（观测）之间学习到不变的特征表示。对抗性域适应通过一个判别器来区分特征是来自模拟还是观测，同时训练特征提取器来欺骗判别器，从而消除域间差异。这在星系图像去噪、测光红移估计等领域已有应用。例如，在使用模拟光谱训练红移回归网络时，可以引入一个域分类分支，惩罚那些能够轻易分辨数据来源的特征，迫使网络关注真正的物理信息而非模拟伪影。
下面用一段简化的加权训练示例展示如何将模拟数据与少量观测数据结合。这里使用随机森林回归，给模拟样本较低权重、观测样本较高权重，模拟预训练加观测微调的思想。
import numpy as np
from sklearn.ensemble import RandomForestRegressor
# 生成模拟数据：大量样本，存在轻微系统偏差
np.random.seed(0)
X_sim = np.random.randn(10000, 5)
y_sim = 3.0 * X_sim[:, 0] + 2.0 * X_sim[:, 1] - 1.0 * X_sim[:, 2] + np.random.normal(0, 0.1, 10000)
# 生成观测数据：仅50个样本，真实关系略有不同
X_obs = np.random.randn(50, 5)
y_obs = 3.2 * X_obs[:, 0] + 1.8 * X_obs[:, 1] + np.random.normal(0, 0.3, 50)
# 仅用模拟数据训练
model_sim = RandomForestRegressor(n_estimators=100, random_state=1)
model_sim.fit(X_sim, y_sim)
print("仅模拟数据训练，观测数据R2: %.3f" % model_sim.score(X_obs, y_obs))
# 模拟预训练 + 少量观测加权微调
X_combined = np.vstack([X_sim, X_obs])
y_combined = np.hstack([y_sim, y_obs])
weights = np.hstack([np.full(len(X_sim), 0.05), np.ones(len(X_obs))])
model_hybrid = RandomForestRegressor(n_estimators=100, random_state=1)
model_hybrid.fit(X_combined, y_combined, sample_weight=weights)
print("混合加权训练，观测数据R2: %.3f" % model_hybrid.score(X_obs, y_obs))
这个例子虽然简单，但揭示了核心道理：少量高保真观测数据可以作为锚点，校正模拟数据中的系统偏差。在实际天文应用中，观测样本的权重不一定都设为1，可以根据测量误差、选择函数或置信度进行精细调整。对于深度模型，还可以使用贝叶斯神经网络将模拟不确定性传播到最终预测中，避免过度自信。
实践中的权衡与挑战
模拟与观测协同的方案并非银弹。首要挑战是模拟的系统误差可能无法通过有限观测数据完全校准。如果模拟器在物理上遗漏了某些关键过程，比如活动星系核反馈或者尘埃消光的空间分布，那么即使加入少量观测数据微调，模型在未观测区域的泛化仍然可疑。此时需要更复杂的物理约束，例如在损失函数中加入已知的守恒定律或标度关系，或者使用基于物理的生成模型来改进模拟器本身。
第二个挑战是计算成本。高分辨率数值模拟需要大量超级计算机资源，而生成足够多样性的模拟样本以满足深度学习需求，可能要运行成百上千次不同参数配置的模拟。替代方案包括使用模拟器的替代模型（如高斯过程回归或生成对抗网络）来快速生成近似样本，但这些替代模型本身又会引入额外误差。工程上通常采用分层策略：少数高精度模拟提供基准，大量低精度或半解析模拟用于填充参数空间。
第三个挑战是评估指标。由于真实宇宙没有“标签”，无法直接衡量模型在观测数据上的绝对误差。常用的做法是留出部分观测数据作为验证集，但验证集本身也是稀疏且有偏的。更可靠的方式是进行模拟到模拟的交叉验证：在一种模拟代码上训练，在另一种独立模拟代码上测试，以评估模型对未知物理实现的鲁棒性。同时，需要报告预测的不确定性区间，而不是单点估计，这在宇宙学参数推断中尤其重要。
总之，解决宇宙数据稀疏问题需要将数值模拟与观测数据有机融合。模拟提供了统计完备性与因果可控性，观测则提供了真实物理的锚点。通过迁移学习、域适应、加权训练和物理约束等一系列技术手段，研究者可以在稀疏观测条件下构建更稳健的模型。随着下一代巡天项目（如欧几里得、薇拉·鲁宾天文台）产生海量但依然存在选择偏差的数据，模拟与观测的协同方法论将发挥越来越关键的作用。