为什么播客字幕值得用 Whisper 来做
播客是纯音频内容，听众在通勤、嘈杂环境或需要无声观看的场景下，字幕几乎是刚需。此外，字幕还能显著提升节目的可搜索性：搜索引擎无法索引音频，但可以索引字幕文本，等于给每一期节目做了免费的SEO。人工听打一小时节目的字幕通常需要三到五小时，成本极高，而 Whisper 这类开源语音识别模型可以在几分钟内完成同样的工作。
Whisper 是 OpenAI 发布的开源语音识别模型，训练数据包含约68万小时的多语言音频，对中文、英文以及中英混杂内容都有不错的识别效果。它最大的特点是直接输出带时间戳的分段结果，天然适合生成SRT、VTT等字幕格式，不需要额外做强制对齐。
对于播客这种长音频、多说话人、口语化表达的内容，Whisper 的鲁棒性表现突出。它对背景音乐、口音、语速变化都有较好的容忍度，即使音频质量一般，也能给出可用的识别结果，后续只需少量人工校对即可发布。
环境搭建与基础转录流程
Whisper 依赖 PyTorch，建议使用 Python 3.9 以上版本。安装过程很简单，通过 pip 即可完成，同时需要确保系统安装了 FFmpeg，因为 Whisper 依赖它做音频解码。
# 安装 whisper 和 ffmpeg（macOS 示例） pip install -U openai-whisper brew install ffmpeg # Windows 下可用 conda 安装 ffmpeg # conda install ffmpeg -c conda-forge
安装完成后，最基础的使用方式是命令行转录。Whisper 提供了从 tiny 到 large 一系列模型规格，参数量从3900万到15亿不等。对播客字幕来说，medium 或 large-v3 是精度和速度的平衡点；如果机器没有独立显卡，medium 模型转录一小时音频大约需要二十分钟，large 系列则会慢很多。
# 基础转录，输出到当前目录，格式包含 srt whisper episode01.mp3 --model medium --language zh --output_format srt # 指定输出目录和初始提示词，帮助模型识别专有名词 whisper episode01.mp3 --model large-v3 --language zh \ --initial_prompt "以下是一档科技播客的节目内容，涉及人工智能与编程。" \ --output_dir ./subs --output_format srt
这里有个非常实用的参数是 initial_prompt。播客节目往往涉及大量专有名词、人名、产品名，纯语音识别很容易写错。把节目主题、常见术语写进提示词，可以显著引导模型输出正确的词汇。比如一档聊编程的播客，提示词里写上相关技术名词，识别准确率会有明显提升。
# 也可以用 Python API，方便批量处理
import whisper
model = whisper.load_model("medium")
result = model.transcribe(
"episode01.mp3",
language="zh",
initial_prompt="科技播客，话题包括大语言模型、GPU、推理优化。",
word_timestamps=True # 开启词级时间戳，便于精细断句
)
for seg in result["segments"]:
print(f"[{seg['start']:.2f} - {seg['end']:.2f}] {seg['text']}")
长音频处理与 faster-whisper 加速方案
播客单期节目动辄一两个小时，直接丢给原版 Whisper 有两个问题：一是速度慢，二是长时间转录可能出现幻觉，即模型在静音或音乐段落输出重复的、凭空编造的文本。应对幻觉的常规做法是先做音轨切分，把长音频按静音点切成若干段，逐段转录再合并结果，同时过滤掉概率过低的片段。
更推荐的做法是改用 faster-whisper。它是基于 CTranslate2 重写的推理引擎，在同样精度下速度比原版快四倍左右，显存占用还更低，对长音频场景特别友好。
pip install faster-whisper
from faster_whisper import WhisperModel
# 在 CPU 上也能跑，int8 量化进一步提速
model = WhisperModel("large-v3", device="cpu", compute_type="int8")
segments, info = model.transcribe(
"episode01.mp3",
language="zh",
vad_filter=True, # 用 VAD 过滤静音段，减少幻觉
vad_parameters={"min_silence_duration_ms": 500}
)
with open("episode01.srt", "w", encoding="utf-8") as f:
for i, seg in enumerate(segments, start=1):
start = format_ts(seg.start)
end = format_ts(seg.end)
f.write(f"{i}\n{start} --> {end}\n{seg.text.strip()}\n\n")
def format_ts(seconds):
h = int(seconds // 3600)
m = int(seconds % 3600 // 60)
s = int(seconds % 60)
ms = int((seconds - int(seconds)) * 1000)
return f"{h:02d}:{m:02d}:{s:02d},{ms:03d}"
上面的代码里开启了 vad_filter，这是 faster-whisper 内置的语音活动检测。它会先切掉没有语音的片段再送入识别模型，既加快了速度，又从根源上抑制了幻觉文本的产生。经过实测，一档90分钟的中文播客，在普通笔记本CPU上用large-v3加int8量化，大约30到40分钟即可完成转录，GPU环境下则能压缩到几分钟。
如果播客有两位或多位主持人对话，还可以搭配 pyannote-audio 做说话人分离，把转录文本按说话人标注，生成“张三：……李四：……”格式的对话字幕，可读性会好很多。
从识别结果到可发布字幕的打磨技巧
机器转录的原始结果距离能直接发布的字幕还有一段距离，主要问题集中在断句、标点和术语三个方面。Whisper 输出的分段是按语音停顿切的，经常出现一句话被硬生生截成两三条字幕的情况，观看体验很差。建议按以下规则做后处理：
- 每条字幕控制在15到20个汉字以内，不超过两行显示宽度
- 利用词级时间戳把跨段的长句重新按语义合并再切分
- 时间轴允许首尾各重叠或延展100到200毫秒，避免字幕闪烁
- 过滤掉识别置信度低于阈值且无实际内容的片段
# 基于词级时间戳重切字幕的简化示例
def split_long_segment(seg, max_chars=18):
text = seg["text"].strip()
if len(text) <= max_chars:
return [seg]
# 按标点优先切分，其次按长度均分
import re
parts = re.split(r'(?<=[，。？！、；])', text)
results, buf, start = [], "", seg["start"]
dur_per_char = (seg["end"] - seg["start"]) / max(len(text), 1)
for p in parts:
if buf and len(buf) + len(p) > max_chars:
results.append((start, start + len(buf) * dur_per_char, buf))
start += len(buf) * dur_per_char
buf = p
else:
buf += p
if buf:
results.append((start, seg["end"], buf))
return results
术语校对方面，可以建立一份节目专属的词表，包含常驻嘉宾名字、栏目名称、赞助商品牌等，写脚本对转录文本做批量替换。这一步机械但有效，能把最刺眼的错误一次性清理掉。剩下的口语赘词，比如过多的语气词、重复口头禅，是否保留取决于节目风格，访谈类节目建议保留少量以维持现场感，知识类节目则可以清理得更干净。
最后，如果字幕要发布到视频平台，注意不同平台对格式的要求：B站和YouTube支持SRT直传，部分平台偏好VTT。格式之间转换只需要几行代码，不必担心。把整套流程固化下来后，从拿到音频到产出可发布字幕，一小时节目的人工投入可以压缩到半小时以内，这对周更的播客团队来说是实实在在的效率提升。
Whisper语音识别播客转录字幕生成修改时间：2026-09-03 23:08:52