macOS Core Video Metal纹理缓存：如何使用CVMetalTextureCache加速Metal与视频帧数据交换？

在macOS的视频处理与渲染开发中，将解码后的视频帧数据传递给GPU进行渲染是一个高频且性能敏感的操作。传统的做法通常涉及CPU内存到GPU显存的拷贝，这在处理高分辨率、高帧率视频时会带来显著的性能损耗。为了解决这一痛点，Apple引入了CVMetalTextureCache，它提供了一种零拷贝的机制，允许开发者直接将Core Video的像素缓冲区映射为Metal纹理，从而极大提升数据交换效率。

一、CVMetalTextureCache底层工作原理与初始化

CVMetalTextureCache本质上是一个由Core Video框架提供的Objective-C接口（C语言接口），它的核心作用是充当Core Video像素缓冲区与Metal纹理对象之间的桥梁。在底层实现上，它利用了iOS和macOS统一内存架构（UMA）或者独立显卡的共享内存管理机制，通过IOSurface框架共享底层缓存。这意味着当视频解码器将一帧画面的数据写入CVPixelBufferRef时，CVMetalTextureCache可以直接基于该内存地址创建一个对应的CVMetalTexture，而这个CVMetalTexture包装了Metal的MTLTexture接口，GPU可以直接读取该内存区域的数据进行渲染，完全避免了CPU到GPU的冗余数据拷贝。

要使用CVMetalTextureCache，首先需要创建一个缓存对象。这个过程需要传入一个Metal设备句柄，即MTLDevice对象。Core Video在内部会根据这个MTLDevice来管理纹理的底层显存分配与同步。在初始化时，我们可以传入一个CFDictionaryRef来指定一些缓存属性，例如纹理缓存区是否使用IOSurface进行后端存储。通常情况下，使用默认属性即可满足大部分视频渲染需求。创建过程非常简单，调用CVMetalTextureCacheCreate方法即可。需要注意的是，CVMetalTextureCache本身不是线程安全的，如果视频解码和Metal渲染处于不同的线程，必须做好线程同步，通常的做法是在渲染线程创建和访问纹理缓存。

下面这段代码展示了如何初始化一个CVMetalTextureCache对象，并处理可能出现的错误。在实际工程中，建议将这个缓存对象作为单例或者渲染上下文的一部分进行管理，避免频繁创建和销毁，因为每次创建缓存都会产生一定的系统开销。

- (CVMetalTextureCacheRef)createMetalTextureCacheWithDevice:(id<MTLDevice>)device {
    CVMetalTextureCacheRef textureCache = NULL;
    CVReturn cvReturn = CVMetalTextureCacheCreate(kCFAllocatorDefault, nil, device, nil, &textureCache);
    if (cvReturn != kCVReturnSuccess) {
        NSLog(@"CVMetalTextureCache创建失败，错误码: %d", cvReturn);
        return NULL;
    }
    return textureCache;
}

二、从CVPixelBufferRef创建CVMetalTexture的完整流程

当CVMetalTextureCache初始化完成后，接下来的核心工作就是将视频解码器输出的CVPixelBufferRef转换为可供Metal渲染管线使用的CVMetalTexture。这个流程的关键在于正确匹配像素格式以及处理纹理的尺寸。视频帧的像素格式通常为YUV420（如kCVPixelFormatType_420YpCbCr8VideoRange或kCVPixelFormatType_420YpCbCr8FullRange），而Metal纹理在处理这种多平面格式时，需要分别为每个平面（如Y平面和UV平面）创建独立的纹理。如果直接尝试为整个像素缓冲区创建单一纹理，将会导致数据映射错误或渲染色彩异常。

在调用CVMetalTextureCacheCreateTextureFromImage时，必须确保传入的CVPixelBufferRef是被IOSurface支持的。在macOS平台上，默认情况下，通过AVFoundation或VideoToolbox解码出的视频帧通常自带IOSurface。但如果你的视频帧数据来源于其他途径（例如手动分配的内存），则必须在创建CVPixelBufferRef时显式指定kCVPixelBufferIOSurfacePropertiesKey，否则CVMetalTextureCache将无法将其映射为Metal纹理，并会返回错误码kCVReturnPixelBufferNotMetalCompatible。这是一个非常常见的坑，导致很多开发者在集成自定义视频源时遇到纹理创建失败的问题。

下面的代码演示了如何从一个YUV格式的CVPixelBufferRef中提取Y平面和UV平面，并分别创建对应的CVMetalTexture。注意观察纹理宽高的计算方式：对于视频帧，宽高通常就是视频的原始尺寸，但对于UV平面（交错格式），其宽度等于视频宽度的一半，高度等于视频高度的一半（如果是全分辨率的UV则是同等高度，具体取决于视频格式）。在Metal着色器中读取这些纹理时，必须使用对应的坐标进行采样。

- (void)createTexturesFromPixelBuffer:(CVPixelBufferRef)pixelBuffer
                          textureCache:(CVMetalTextureCacheRef)textureCache
                              yTexture:(CVMetalTextureRef *)yTexture
                             uvTexture:(CVMetalTextureRef *)uvTexture {
    if (!pixelBuffer || !textureCache) {
        return;
    }
    
    size_t width = CVPixelBufferGetWidth(pixelBuffer);
    size_t height = CVPixelBufferGetHeight(pixelBuffer);
    
    // 创建Y平面纹理
    CVReturn yResult = CVMetalTextureCacheCreateTextureFromImage(
        kCFAllocatorDefault, textureCache, pixelBuffer, nil,
        MTLPixelFormatR8Unorm, width, height, 0, yTexture);
    
    if (yResult != kCVReturnSuccess) {
        NSLog(@"创建Y纹理失败");
    }
    
    // 创建UV平面纹理 (假设为双平面格式，如420v)
    // 对于双平面YUV，UV平面的宽高均为Y平面的一半
    CVReturn uvResult = CVMetalTextureCacheCreateTextureFromImage(
        kCFAllocatorDefault, textureCache, pixelBuffer, nil,
        MTLPixelFormatRG8Unorm, width / 2, height / 2, 1, uvTexture);
    
    if (uvResult != kCVReturnTextureCacheOverridden || uvResult != kCVReturnSuccess) {
        // 注意：如果返回kCVReturnTextureCacheOverridden，表示底层缓存被重写，需处理
        NSLog(@"创建UV纹理失败");
    }
}

零拷贝机制下的内存同步与生命周期管理

虽然CVMetalTextureCache带来了极大的性能提升，但它也引入了复杂的内存同步问题。因为CPU和GPU现在共享同一块物理内存，如果CPU正在写入数据（例如视频解码器正在解码下一帧），而GPU同时尝试读取该纹理进行渲染，就会产生数据竞争，导致画面撕裂或闪烁。为了避免这种情况，必须使用Metal的共享事件或者信号量机制来协调CPU与GPU的访问。通常的做法是在将纹理提交给GPU渲染之前，使用id<MTLCommandBuffer>的encodeSignalEvent方法发送一个信号，并在CPU端等待该信号完成后再更新或释放像素缓冲区。

另一个关键点是CVMetalTexture的生命周期管理。CVMetalTextureRef是对底层MTLTexture的包装，它并不拥有像素缓冲区的数据。当CVMetalTextureRef被释放时，它对应的MTLTexture也会随之失效。因此，必须确保在GPU完成渲染之前，CVMetalTextureRef以及其底层的CVPixelBufferRef都不能被释放。在实际开发中，建议将CVMetalTextureRef和CVPixelBufferRef一起作为渲染资源对象的一部分，在渲染命令缓冲区完成回调后再统一释放，这样可以有效避免因为提前释放导致的GPU访问违例崩溃。

下面的代码展示了如何安全地管理纹理的生命周期，并使用信号量确保GPU渲染完成后再继续解码下一帧。这种模式在实时视频流处理中非常常见，通过限制同时渲染的帧数，可以防止解码线程跑得比渲染线程快，导致内存暴涨。这里使用的是dispatch_semaphore_wait来阻塞解码线程，直到GPU完成上一帧的渲染。

// 初始化信号量，允许最多3帧同时处于渲染管线中
dispatch_semaphore_t _inFlightSemaphore = dispatch_semaphore_create(3);
// ... 在解码线程中 ...
dispatch_semaphore_wait(_inFlightSemaphore, DISPATCH_TIME_FOREVER);

// 获取解码后的视频帧
CVPixelBufferRef pixelBuffer = ...; 
CVMetalTextureRef yTexture = NULL;
CVMetalTextureRef uvTexture = NULL;

[self createTexturesFromPixelBuffer:pixelBuffer
                        textureCache:self.textureCache
                            yTexture:&yTexture
                           uvTexture:&uvTexture];

id<MTLCommandBuffer> commandBuffer = [self.commandQueue commandBuffer];
// ... 配置Metal渲染管线并绘制纹理 ...
[commandBuffer addCompletedHandler:^(id<MTLCommandBuffer> cb) {
    // GPU渲染完成，释放资源并唤醒解码线程
    CVBufferRelease(yTexture);
    CVBufferRelease(uvTexture);
    CVBufferRelease(pixelBuffer);
    dispatch_semaphore_signal(_inFlowSemaphore); // 注意变量名笔误，实际应为_inFlightSemaphore
}];

[commandBuffer commit];

性能对比与最佳实践总结

CVMetalTextureCacheMetal纹理视频帧处理修改时间：2026-08-22 13:25:48