音视频开发中有一个高频出现的难题：多路视频流合并后播放，画面出现快进、卡顿甚至来回跳跃的现象。问题的根源往往不是编码本身，而是帧同步没有做好，各路流的时间戳没有对齐。帧同步的本质是让每一帧都携带正确的时间戳，在正确的时刻被渲染。本文将从时间戳的底层逻辑讲起，逐步展开时间戳对齐的具体操作和格式转换中的常见隐患，帮助开发者系统性地解决这类问题。
先搞懂时间戳：PTS与DTS的区别
视频帧的时间戳有两个容易混淆的概念：PTS（Presentation Timestamp，显示时间戳）和DTS（Decoding Timestamp，解码时间戳）。PTS决定这一帧应该在什么时刻展示给观众，DTS决定这一帧应该在什么时刻送入解码器。之所以要区分两者，是因为B帧的存在。B帧采用双向预测，解码时依赖前后参考帧，导致解码顺序和显示顺序不一致，必须用两个时间戳分别描述。
举个具体例子，一个典型的帧序列I-B-B-P，解码顺序是I、P、B、B，显示顺序却是I、B、B、P。假设帧率恒定为25fps，每帧间隔40毫秒，那么解码器收到的DTS序列可能是0、120、40、80，而PTS序列是0、40、80、120。如果流中没有B帧，两个序列则完全一致。理解这一点非常重要，因为很多同步问题就出在封装或转码时把PTS和DTS搞混了，播放器按错误的顺序渲染，画面自然会乱序跳动。
另一个关键概念是时间基（time_base）。在FFmpeg中，时间戳不是以毫秒直接存储的，而是一个以time_base为单位的整数。比如time_base为1/90000时，时间戳3600代表40毫秒。MP4容器常用1/1000或与采样率相关的时间基，MPEG-TS则固定使用1/90000。不同容器的时间基不同，直接搬运时间戳而不做换算，就会出现数量级级别的偏差，画面要么瞬间播完，要么长时间定格，这是流合并时最常见的一类故障。
时间戳对齐的具体操作方法
明确了原理，接下来是落地操作。FFmpeg提供了多种对齐手段，最常用的是时间基换算函数和滤镜。在C代码层面，用av_rescale_q_rnd把时间戳从一个时间基换算到另一个时间基：
// 将数据包的时间戳从源时间基换算到目标时间基
pkt->pts = av_rescale_q_rnd(pkt->pts, src_time_base, dst_time_base,
AV_ROUND_NEAR_INF | AV_ROUND_PASS_MINMAX);
pkt->dts = av_rescale_q_rnd(pkt->dts, src_time_base, dst_time_base,
AV_ROUND_NEAR_INF | AV_ROUND_PASS_MINMAX);
第二个参数是源时间基，第三个是目标时间基。AV_ROUND_NEAR_INF表示四舍五入，AV_ROUND_PASS_MINMAX保证无效值（AV_NOPTS_VALUE）不会被错误换算。这是封装转换时最标准也最不容易出错的写法，很多手写换算逻辑的精度问题，用这个函数都能规避。
命令行场景下，setpts和asetpts滤镜用得最多。比如多路视频合并时，第二路需要顺延第一路的时长，可以这样处理：
ffmpeg -i part1.mp4 -i part2.mp4 -filter_complex \ "[0:v]setpts=PTS-STARTPTS[v0];[1:v]setpts=PTS-STARTPTS+4/TB[v1];\ [v0][v1]concat=n=2:v=1:a=0[outv]" -map "[outv]" output.mp4
PTS-STARTPTS的作用是把每一路流的起始时间戳归零，4/TB表示顺延4秒（假设第一段时长为4秒）。如果两段视频帧率不同，比如一段25fps一段30fps，拼接前必须先统一帧率，否则concat滤镜会按各自的时间戳直接拼接，接缝处必然出现跳变。可以先用fps=25滤镜把两路都归一到同一帧率再拼接。另外，多路流要求起播时间严格对齐时，将每一路的第一帧PTS都归零是最稳妥的做法，能避免负时间戳或起始偏移带来的问题。
格式转换环节的同步隐患与修复
格式转换不只是换个封装那么简单，像素格式和采样格式的差异同样会牵动时间戳。视频方面，yuv420p和yuv422p每帧数据量不同，如果转换时没有保证帧数守恒，输出的PTS序列就会出现空洞或重复。音频方面，重采样会改变每帧的采样点数，时间戳必须按新的帧长重新计算，而不是照搬原始值，否则音画会逐渐漂移，播放时间越长偏移越明显。
音频重采样的正确做法是让解码、重采样、编码共用同一套时钟计算逻辑。以swr_convert为例，每次转换后要根据实际生成的输出采样数，累加计算下一帧的PTS：
// dst_pts 按输出总采样数累加计算
int64_t dst_pts = av_rescale_q(total_output_samples,
(AVRational){1, 48000},
out_stream->time_base);
这样每一帧的PTS都严格等于前面所有帧的采样总时长，不会产生累积误差。直播推流时音频延迟越来越大的问题，多数就是重采样后PTS计算不精确导致的，按采样数累加的方式可以从根本上解决。
排查同步问题有一套实用流程可以遵循：先用ffprobe检查每路流的时间基与时间戳范围，命令ffprobe -show_streams能直接列出time_base和起始PTS；再确认帧率、分辨率、采样率是否一致，不一致的先做归一化；接着用av_rescale_q_rnd统一时间基并归零起始时间戳；然后校验PTS序列的单调递增性；最后才做格式转换与封装输出。按照这个顺序处理，绝大多数音画不同步和画面跳跃问题都能快速定位并修复，避免在编码参数上盲目浪费时间。