增强现实应用中，让虚拟物体看起来“属于”真实场景，关键不在于模型精度，而在于光照是否匹配。如果场景是暖色调的黄昏，而虚拟物体却被冷白色的均匀光照亮，用户立刻会察觉违和感。解决这个问题的一种经典方案，是从一张球面全景图（Equirectangular Panorama）中估计场景的环境光照，再用球面谐波（Spherical Harmonics）系数重建光照，用于渲染。本文将完整介绍如何在iOS端基于Core Image完成这条技术链路。
一、球面全景图与光照信息的映射关系
球面全景图采用等距圆柱投影，将球面展开为宽高比2:1的矩形图像。图像的水平方向对应经度（0到360度），垂直方向对应纬度（-90度到90度）。这意味着，全景图上任意一个像素，都可以唯一对应到球面上的一个方向向量，而这个方向上的像素颜色，就是环境光在该方向上的辐射强度。
理解这个映射是光照估计的基础。设像素坐标为u、v，图像宽为W、高为H，则经度和纬度的计算方式为：theta = (u + 0.5) / W * 2π，phi = (v + 0.5) / H * π。对应的方向向量为x = sin(phi) * cos(theta)，y = cos(phi)，z = sin(phi) * sin(theta)。注意纬度方向需要根据实际纹理的朝向约定调整，不同的全景图素材可能存在上下翻转的差异，实现时要通过一个已知光源方向做校验。
严格来说，全景图的像素值记录的是颜色而非物理辐亮度，缺少相机的响应曲线与曝光信息。但为了实时渲染的目的，可以假设像素值与辐亮度呈线性关系，或者简单的gamma校正即可获得足够的近似效果。Core Image提供了CIToneCurve和CIGammaAdjust滤镜，可以方便地完成这一步线性化处理。
二、用Core Image完成预处理与亮度提取
直接在原图分辨率（通常4096x2048甚至8192x4096）上逐像素计算球谐系数代价很高，也不必要。因为球谐光照本身是低频信息，二阶球谐只需要9个系数，对原图做大幅降采样后再计算即可。Core Image的滤镜链非常适合这个场景：
// 从CGImage创建CIImage CIImage *pano = [CIImage imageWithCGImage:cgImage]; // 降采样到 256x128，足够捕捉低频光照 CIFilter *resize = [CIFilter filterWithName:@"CILanczosScaleTransform"]; [resize setValue:pano forKey:kCIInputImageKey]; [resize setValue:@(256.0 / pano.extent.size.width) forKey:kCIInputScaleKey]; [resize setValue:@1.0 forKey:kCIInputAspectRatioKey]; // gamma 校正，将 sRGB 值近似线性化 CIFilter *gamma = [CIFilter filterWithName:@"CIGammaAdjust"]; [gamma setValue:resize.outputImage forKey:kCIInputImageKey]; [gamma setValue:@2.2 forKey:@"inputPower"]; CIImage *linear = gamma.outputImage;
这里选择Lanczos算法做缩放，是因为它在降采样时能较好地保留能量分布，避免简单平均导致的振铃或混叠。CIGammaAdjust中2.2只是粗略的sRGB近似，如果对精度有要求，可以使用CIToneCurve逐段拟合更精确的传递函数。
提取像素数据是下一步。通过CIContext渲染到CPU可读的缓冲区：
CIContext *context = [CIContext contextWithOptions:@{kCIContextWorkingColorSpace: (id)kCFNull}];
// 优先使用线性化后的颜色空间，避免二次转换
CGImage *out = [context createCGImage:linear fromRect:linear.extent];
CFDataRef data = CGDataProviderCopyData(CGImageGetDataProvider(out));
const uint8_t *ptr = CFDataGetBytePtr(data);注意在创建CIContext时将工作颜色空间设为空，防止Core Image暗中做颜色空间转换，导致提取的亮度值与预期不符。这是实际开发中最常见的坑：系数算出来总是偏暗或偏色，八成是颜色空间被隐式处理了。
三、球面谐波系数的数学原理与计算实现
球面谐波是一组定义在球面上的正交基函数，类似于二维的傅里叶级数，但作用在球面上。任何定义在球面上的函数，都可以展开为球谐基函数的线性组合。光照估计的关键洞察来自Sloan等人的经典结论：漫反射物体对环境光的响应是一个低通滤波过程，仅保留球谐的前三阶（共9个系数）就能捕获绝大部分能量，重构误差通常低于百分之几。
前三个阶的实数形式球谐基函数为：Y00 = 0.282095；Y1对应三个一阶项，系数约为0.488603乘以x、y、z；二阶项共5个，形如1.092548xy、1.092548yz、0.315392(3z²-1)、1.092548xz、0.546274(x²-y²)。这些常数看起来零散，实际上都源于勒让德多项式的归一化推导，直接使用即可。
系数计算是对全景图所有像素的加权求和：c_i = Σ L(dir) * Y_i(dir) * sin(phi) * Δphi * Δtheta，其中sin(phi)来自球面坐标下的面积微元，方向越靠近极点的像素在求和中的权重应该越小，这在等距圆柱投影下尤为重要，漏掉这一项会导致估计出的光照整体向极点偏移。
static inline void shBasis(float x, float y, float z, float out[9]) {
out[0] = 0.282095f;
out[1] = 0.488603f * y;
out[2] = 0.488603f * z;
out[3] = 0.488603f * x;
out[4] = 1.092548f * x * y;
out[5] = 1.092548f * y * z;
out[6] = 0.315392f * (3.0f * z * z - 1.0f);
out[7] = 1.092548f * x * z;
out[8] = 0.546274f * (x * x - y * y);
}
// 遍历降采样后的全景图像素
for (int v = 0; v < height; v++) {
float phi = ((v + 0.5f) / height) * M_PI; // 极角
float sinPhi = sinf(phi);
float dA = (2.0f * M_PI / width) * (M_PI / height) * sinPhi;
for (int u = 0; u < width; u++) {
float theta = ((u + 0.5f) / width) * 2.0f * M_PI;
float x = sinPhi * cosf(theta);
float y = cosf(phi);
float z = sinPhi * sinf(theta);
// 读取该像素的线性 RGB 并除以255归一化
// 累加 c[i] += L(rgb) * Y[i] * dA
}
}计算完成后得到的9个系数（每个颜色通道各一组，共27个浮点数）就是场景光照的紧凑表示。可以把它理解为：一个精确到低频细节的、可用数学表达式描述的“环境光探针”。重建任意方向的光照只需把该方向的球谐基函数代入求值：L(dir) = Σ c_i * Y_i(dir)。
四、在渲染管线中应用球谐光照
拿到系数后，渲染阶段的思路是把光照求值搬到GPU上。对于简单场景，可以直接在Metal着色器中对每个像素的法线求值：
// fragment shader 中，sh 为常量缓冲区中的 9 个系数（每通道）
float3 n = normalize(inNormal);
float sh[9];
// 与 CPU 端相同的基函数展开...
float3 diffuseIBL = float3(
c0[0]*sh[0] + c1[0]*sh[1] + ... ,
c0[1]*sh[0] + c1[1]*sh[1] + ... ,
c0[2]*sh[0] + c1[2]*sh[1] + ...
);
float3 color = albedo * diffuseIBL;更优雅的做法是把9个系数打包成三阶三颜色通道的矩阵形式，重建光照退化为一次矩阵乘法，某些渲染引擎会直接预积分成常量颜色乘积，性能开销几乎可以忽略。值得一提的是，漫反射球谐光照存在一个著名的推导结论：对完全漫反射的表面，重建后的光照还需要乘以cos(theta)卷积核对应的常数（例如常量项对应的卷积系数为π），漏乘会让渲染结果整体偏暗。
对于镜面反射部分，低阶球谐无法表达高频细节，常见做法是结合粗糙度选择不同的处理策略：粗糙表面直接用球谐光照近似，光滑表面则退回到环境贴图采样配合模糊mipmap。这也是为什么许多AR框架（如ARKit自身）内部对光照估计同时提供环境纹理与强度参数两种形式。
五、性能优化与工程实践建议
整条链路的耗时主要集中在像素读取和CPU求和上。实测在A系列芯片上，256x128分辨率的求和循环耗时不到1毫秒，完全可以在视频流的每帧中执行。如果需要更低开销，可以进一步把求和过程写成Core Image自定义kernel（CIKernel），用Metal Shading Language在GPU上完成累加，通过CIColorKernel的reduction输出9个系数到一张极小的输出纹理中。
工程上还有几个值得注意的点。第一，全景图来源如果是实时拼接的（例如用CICameraCalibration或第三方拼接库），边缘接缝处可能出现亮度跳变，建议先用CIGaussianBlur做轻度模糊再做系数计算，进一步抑制高频噪声对球谐估计的干扰。第二，如果光照只需要主方向信息，可以只用一阶球谐系数反推主光方向，计算atan2得到角度，用于简单的方向光加阴影。第三，调试阶段强烈建议把重建的光照可视化：对一个纯白球体用估计系数渲染，叠加到场景中肉眼比对，能快速发现坐标约定、颜色空间之类的隐蔽错误。
最后需要明确的是，球谐光照估计表达的是低频环境光，它无法还原太阳直射这类高频强光源的锐利阴影。在要求高的AR场景中，可以将其与ARKit提供的光源估计融合使用：球谐负责环境底色，主光方向和强度由框架估计补充，两者叠加才能得到既柔和又锐利的真实光照效果。掌握这套方法后，你会发现全景图不再只是展示素材，而是一个可以随时“烘焙”出光照模型的宝贵数据源。
Core Image球面谐波光照估计修改时间：2026-09-01 06:29:14