ComfyUI的核心在于其基于图的数据流处理机制。每一个节点本质上是一个Python类，通过定义特定的类属性和方法，与主框架进行交互。在处理图像时，数据通常以单张或批次的形式在节点间传递。然而，视频处理涉及到的不仅是图像批次的扩大，更包含了时序信息、帧率控制以及音视频轨道的同步。因此，开发视频处理专用节点，首先需要打破单帧处理的思维定式，将视频视为一个连续的张量流。
理解ComfyUI节点架构与视频数据流
在ComfyUI的架构中，视频数据通常会被解码为批次张量。例如，一个包含N帧的视频会被转化为形状为(N, C, H, W)的四维张量。开发自定义节点时，我们需要在INPUT_TYPES中明确声明输入的数据类型为IMAGE，但内部处理逻辑必须能够妥善处理高维张量带来的内存压力。如果直接将大视频一次性加载进显存，极易导致CUDA Out of Memory错误。合理的方案是引入生成器或分块处理机制，确保数据流在内存和显存之间的高效调度。
此外，视频节点往往需要处理额外的元数据，比如帧率、编码格式、时长等。这些信息无法直接通过标准的张量类型传递。开发者可以通过定义自定义的数据类型，或者将这些元数据作为字典附加在张量传递过程中。理解了这些底层架构特性，我们才能在编写执行逻辑时做到游刃有余，避免因数据类型不匹配或内存溢出导致工作流崩溃。
对于视频处理而言，时序一致性是另一个需要重点关注的架构问题。如果仅仅将视频视为独立的图像帧集合，在应用AI模型（如稳定扩散）时，会导致前后帧画面闪烁、不连贯。在自定义节点开发中，通常需要引入光流计算或时序注意力机制的相关参数，将这些时序特征作为隐藏状态在节点内部传递，从而保证最终生成的视频具备视觉连贯性。
核心逻辑实现：视频抽帧与批量张量处理
视频抽帧是视频处理节点最基础也是最核心的功能之一。在Python生态中，通常我们会借助OpenCV或FFmpeg进行视频解码。为了在ComfyUI中实现一个高效的视频输入节点，我们需要在节点的执行函数中集成视频读取逻辑。关键在于如何将读取到的帧转换为ComfyUI能够识别的PyTorch张量，并保持批次维度的正确性。同时，为了提升用户体验，节点应当支持设定抽帧间隔、起始时间和结束时间，以便用户灵活控制生成视频的节奏。
下面是一个视频抽帧节点的核心代码示例。在这个示例中，我们使用OpenCV读取视频，并通过设定参数控制抽帧数量。需要注意的是，OpenCV读取的图像默认是BGR格式，而ComfyUI内部处理的张量通常是RGB格式，因此在转换为张量之前必须进行颜色通道转换。同时，为了防止内存爆炸，代码中加入了分批次读取的逻辑，确保即使处理长视频也不会瞬间撑爆系统内存。
import cv2
import torch
import numpy as np
class VideoFrameExtractor:
@classmethod
def INPUT_TYPES(cls):
return {
"required": {
"video_path": ("STRING", {"default": "C:\\videos\\input.mp4"}),
"frame_interval": ("INT", {"default": 1, "min": 1, "max": 100}),
}
}
RETURN_TYPES = ("IMAGE",)
FUNCTION = "extract_frames"
CATEGORY = "video/processing"
def extract_frames(self, video_path, frame_interval):
cap = cv2.VideoCapture(video_path)
frames = []
frame_idx = 0
while True:
ret, frame = cap.read()
if not ret:
break
if frame_idx % frame_interval == 0:
# BGR转RGB
frame = cv2.cvtColor(frame, cv2.COLOR_BGR2RGB)
frames.append(frame)
frame_idx += 1
cap.release()
if not frames:
raise ValueError("无法从视频中读取到帧，请检查视频路径或格式。")
# 转换为PyTorch张量 (N, H, W, C) -> (N, C, H, W) 视具体需求调整
frames_np = np.array(frames).astype(np.float32) / 255.0
# ComfyUI标准IMAGE格式通常为 (N, H, W, C)
tensor = torch.from_numpy(frames_np).permute(0, 3, 1, 2)
return (tensor,)
这段代码展示了从视频路径到张量的完整转换过程。通过frame_interval参数，用户可以跳过部分帧，从而实现视频快进或减少处理压力的效果。在实际应用中，还可以进一步扩展该节点，例如增加分辨率缩放功能，或者在读取过程中实时监控显存占用情况。当张量成功生成后，它就可以无缝接入ComfyUI中现有的图像处理节点，如ControlNet预处理器或图生图模型，实现基于视频的连续帧处理工作流。
视频编码与输出节点的开发实战
处理完视频帧后，我们需要将生成的张量序列重新编码为视频文件。ComfyUI默认的图像保存节点只能输出GIF或图片序列，无法直接输出带有H.264编码的MP4文件。因此，开发一个专用的视频输出节点显得尤为重要。这个节点的核心职责是将接收到的批次张量解码为单帧图像，并利用编码器（如FFmpeg或OpenCV的VideoWriter）将其合成为视频。在此过程中，帧率设置和编码器选择是决定输出视频质量的关键参数。
在编写视频输出节点时，最大的挑战在于处理张量数据的归一化与格式转换。ComfyUI内部处理的图像张量通常值域在0.0到1.0之间，且维度排列为(C, H, W)或(N, C, H, W)。而视频编码器通常需要0到255的整数值以及(H, W, C)的维度排列。开发者必须在循环中逐帧提取张量，进行维度转置和数值反归一化，然后传递给编码器。此外，为了保证视频播放的流畅性，还需要确保输出帧率与原始抽帧帧率保持一致或按比例缩放。
import cv2
import torch
import numpy as np
import os
class VideoEncoderNode:
@classmethod
def INPUT_TYPES(cls):
return {
"required": {
"images": ("IMAGE",),
"output_path": ("STRING", {"default": "C:\\output\\result.mp4"}),
"fps": ("FLOAT", {"default": 24.0, "min": 1.0, "max": 60.0}),
}
}
RETURN_TYPES = ()
FUNCTION = "encode_video"
CATEGORY = "video/processing"
OUTPUT_NODE = True
def encode_video(self, images, output_path, fps):
# 确保输出目录存在
os.makedirs(os.path.dirname(output_path), exist_ok=True)
# 获取视频尺寸和总帧数
# images shape: (N, C, H, W) 或 (N, H, W, C) 视ComfyUI版本而定
# 假设这里输入的是 (N, H, W, C) 格式，值域 [0.0, 1.0]
n, h, w, c = images.shape
fourcc = cv2.VideoWriter_fourcc(*'mp4v')
out = cv2.VideoWriter(output_path, fourcc, fps, (w, h))
for i in range(n):
# 提取单帧
frame = images[i].cpu().numpy()
# 反归一化到 0-255 并转换为uint8
frame = (frame * 255).astype(np.uint8)
# RGB转BGR (OpenCV需要BGR格式)
frame = cv2.cvtColor(frame, cv2.COLOR_RGB2BGR)
out.write(frame)
out.release()
return {}
上述代码实现了一个基础但功能完备的视频编码节点。通过设置OUTPUT_NODE = True，我们告诉ComfyUI这是一个终端节点，不需要输出数据流。代码内部使用了cv2.VideoWriter进行视频合成，并自动创建输出目录。虽然OpenCV在处理高分辨率视频时可能存在性能瓶颈，但对于大多数AI视频生成任务来说已经足够。如果追求更高的压缩率和画质，可以考虑通过子进程调用系统安装的FFmpeg工具进行编码，这不仅能支持H.264/H.265编码，还能大幅提升处理速度，是进阶开发的重要优化方向。