在使用Whisper处理视频语音时，转录结果为空或出现大段乱码，通常不是模型能力不足，而是音频输入链路和参数配置出现了问题。视频文件由视频流和音频流封装而成，Whisper只能接受音频数据，所以第一步必须确认音频轨道是否真实存在、能否被正确解码，以及抽流后的格式是否满足模型的输入要求。很多故障正是因为忽略了这一层，直接把MP4、MKV等容器交给Whisper，或者提取出采样率、声道数不匹配的音频片段，导致模型无法解析出有效语音内容。
确认音频轨道是否被正确提取
视频文件中的音频流可能使用AAC、Opus、MP3等不同编码格式，容器封装方式也不尽相同。如果直接调用Whisper处理原始视频路径，部分依赖库可能无法正确分离音轨，最终传入模型的是一段空数据或不可解码的字节流。此时最常见的结果就是返回空文本，或者少量看似文字的乱码。排查该问题的第一步是使用ffprobe查看文件的音频流信息，确认音频轨道的编码格式、采样率、声道数和时长是否正常。
下面这条命令可以列出视频文件中所有音频流的关键属性。如果输出为空，说明文件本身可能没有音频轨道，或者封装格式存在问题。如果音频流存在但码率极低、时长异常短，也可能意味着录制时麦克风未工作，音轨本身就是静音或噪声。
ffprobe -v error -show_entries stream=index,codec_name,sample_rate,channels,duration -of default=noprint_wrappers=1 input.mp4
在确认音频流存在之后，还需要单独提取音轨并检查能否正常播放。使用ffmpeg提取音频为WAV格式，可以排除容器封装和视频流干扰。如果提取出来的WAV文件无法播放、文件大小接近零，或者播放时只有底噪，那么问题就出在原始音轨上，而不是Whisper的参数设置。
ffmpeg -i input.mp4 -vn -acodec pcm_s16le -ar 16000 -ac 1 output.wav
使用ffmpeg将音轨标准化为16kHz单声道WAV
Whisper模型在训练时使用的音频格式是16kHz采样率、单声道、PCM编码的WAV文件。如果传入的音频是44.1kHz立体声、24kHz单声道或者压缩格式，Whisper虽然会在内部尝试转换，但转换过程可能引入采样率不匹配、声道混合错误或者解码失败。尤其是某些视频音轨的采样率为48kHz或32kHz，直接用于推理时，模型可能把高频部分误判为语音特征，输出乱码或无意义片段。
标准化的做法是统一使用ffmpeg进行转码，将音轨转换为16kHz、单声道、16位PCM的WAV文件。这样既减少了模型内部重采样的开销，也避免了不同编码器之间的兼容性问题。命令中的-ac 1表示合并左右声道为单声道，-ar 16000表示重采样到16kHz，-acodec pcm_s16le指定无损PCM编码。
ffmpeg -i input.mp4 -vn -acodec pcm_s16le -ar 16000 -ac 1 -y normalized.wav
转码完成后，建议再使用ffprobe验证输出文件的实际参数。重点检查采样率是否为16000、声道数是否为1、编码格式是否为pcm_s16le。如果转码后的音量非常低，还可以增加音量增益，避免语音信号过弱导致模型无法检测到有效内容。对于音量问题，可以使用ffmpeg的volume滤镜适度放大，但要避免削波失真。
ffprobe -v error -show_entries stream=sample_rate,channels,codec_name -of default=noprint_wrappers=1 normalized.wav
指定语言和使用初始提示降低乱码概率
Whisper支持多语言自动检测，但在音频较短、背景噪声明显、口音较重或者说话人语速较快时，自动检测容易出错。一旦语言检测结果错误，解码器会按照错误的语言模型生成文字，表现就是大量乱码或者语义不连贯的片段。对于中文视频内容，如果模型误判为日文或英文，输出的文字很可能无法阅读。明确指定language参数可以避免这种误判。
import whisper
model = whisper.load_model("base")
result = model.transcribe(
"normalized.wav",
language="zh",
initial_prompt="以下是普通话的句子。"
)
print(result["text"])
initial_prompt参数同样重要，它相当于给模型一个上下文提示，告诉模型接下来要转录的内容属于什么领域、什么风格。对于中文内容，设置一个简短的中文提示可以显著降低乱码概率，尤其是当音频中包含专有名词、数字或者口语化表达时。提示不需要很长，但要和实际语音的语言、风格保持一致。
如果仍然出现部分乱码，可以尝试在转写前对音频进行分段处理。过长的音频会消耗大量内存，同时语言模型在长时间序列上可能累积错误。将音频按30秒到60秒的片段切分后再分别转录，可以提升整体准确率。可以使用ffmpeg的segment参数切分，也可以自行读取音频数据按固定长度切片。
检查模型输出参数与静音检测阈值
Whisper在推理时会计算每个片段的语音概率，如果某个片段被判定为静音或非语音，就不会输出文字。当整段音频的语音概率都低于阈值时，结果自然为空。可以通过调整no_speech_threshold参数来降低静音判定门槛，但更合理的做法是先确认音频是否真的包含清晰语音。如果原始视频只有背景音乐或环境噪声，任何参数调整都无法产生有效转录。
result = model.transcribe(
"normalized.wav",
language="zh",
initial_prompt="以下是普通话的句子。",
no_speech_threshold=0.4,
temperature=0.0
)
print(result["text"])
temperature参数控制采样的随机性。对于故障排查阶段，建议将temperature设为0.0，使用贪婪解码获得确定性输出。这样如果结果仍然为空或乱码，可以排除随机采样带来的干扰。另外，如果使用的是tiny或base等小模型，在复杂音频上的转录效果可能较差，可以暂时切换到small或medium模型对比测试，以判断是否因为模型容量不足导致输出异常。
最后要检查输出解析环节。某些调用方式会返回包含时间戳和置信度的完整结果字典，如果只取text字段但结果被存储为其他结构，也可能看到空值。打印整个结果对象可以帮助确认模型是否真的没有输出，还是程序读取字段时出现了问题。
result = model.transcribe("normalized.wav", language="zh")
print(result.keys())
print(result["segments"])
通过以上四个层面的排查，大多数Whisper转录结果为空或乱码的问题都能定位到具体原因。核心思路是先验证音轨是否存在且参数正确，再将音频标准化为模型期望的格式，接着固定语言和提示信息，最后检查模型输出相关的阈值与解析逻辑。每一步都有明确的命令或代码支撑，可以帮助快速恢复稳定、准确的视频语音转录。