曲式结构是指一首歌曲在时间维度上的组织方式，典型的流行音乐通常包含前奏、主歌、预副歌、副歌、间奏、桥段和尾奏等部分。自动识别这些段落边界和功能标签，是音乐信息检索领域的经典课题。传统方法依赖人工听辨和标注，效率低且主观性强，而AI技术可以通过分析音频特征，在无人工干预的情况下完成整首歌的结构标注，为音乐推荐、卡拉OK字幕同步、自动混音和视频配乐剪辑等应用提供底层支撑。
曲式结构分析到底要解决什么问题
从任务定义上看，音乐结构分析通常包含两个子任务：边界检测和段落标注。边界检测的目标是找出段落切换的时间点，比如第37秒处从主歌进入副歌；段落标注则要给每个片段贴上功能标签，判断它是主歌、副歌还是桥段。两个任务可以分开做，也可以联合建模。
这个任务的难点在于结构的多尺度性。一首歌可能同时存在多个层次的组织：乐句构成乐段，乐段构成段落，段落构成全曲。例如一首四分钟的流行歌，可能在半分钟粒度上表现为ABABCB的形式，而在更细的八小节粒度上又能拆出更多重复单元。分析系统必须先决定在哪个尺度上工作，否则结果会显得杂乱。
另一个难点是结构的模糊性。很多歌曲的过渡段落并不明显，主歌和副歌之间可能有渐变式的推进，甚至在编曲上高度相似。人类的标注者也常常在这些位置产生分歧，这给AI模型的学习和评估都带来了挑战。
经典技术路线：特征提取加自相似度矩阵
传统方案的第一步是特征提取。音频会被分帧处理，通常每帧约20到50毫秒，然后计算MFCC、色度特征、节拍同步特征等。MFCC反映音色信息，色度特征刻画和声内容，两者结合能够较好地区分主歌与副歌这类编曲差异明显的段落。
第二步是构建自相似度矩阵。把每一帧特征与所有其他帧计算相似度，形成一个二维矩阵，横纵坐标都是时间轴。如果歌曲在30秒和120秒处有相似的段落，矩阵中对应位置就会呈现亮色方块。人眼可以直接从矩阵上看出块状结构，算法要做的就是把这些块自动找出来。
第三步是结构推导。常用方法包括基于矩阵块对角线的分块搜索、谱聚类以及novelty曲线检测。novelty曲线的思路是沿着矩阵主对角线滑动一个小窗口，计算窗口两侧的相似度差异，差异最大的位置就是候选边界。librosa库中提供了现成的实现：
import librosa
import numpy as np
# 加载音频，提取色度特征
y, sr = librosa.load("song.mp3", sr=22050)
chroma = librosa.feature.chroma_cqt(y=y, sr=sr, hop_length=512)
# 对特征做时间平滑处理，减少噪声
chroma_smooth = librosa.decompose.nn_filter(chroma, aggregate=np.median)
# 构建递归矩阵，近似自相似度矩阵
rec = librosa.segment.recurrence_matrix(chroma_smooth, mode='affinity', sym=True)
# 聚类方法检测段落边界
bounds = librosa.segment.agglomerative(chroma, k=8)
bound_times = librosa.frames_to_time(bounds, sr=sr, hop_length=512)
print("检测到的段落边界时间点（秒）：", bound_times)这套流程的优点是完全无需训练数据，可解释性强，调试时可以直接可视化中间结果。缺点是阈值和参数对结果影响较大，面对编曲变化细腻的歌曲容易漏检或误检。
深度学习方法：端到端的结构识别
近年来主流研究方向转向深度学习。卷积神经网络可以直接把自相似度矩阵当作图像输入，学习块状结构的模式，输出边界概率序列；也有研究直接从频谱图出发，用一维卷积网络逐帧预测每个时刻是边界还是非边界，再通过峰值拾取得到最终边界点。
对于段落标注任务，循环神经网络和Transformer结构更为合适。模型需要在长距离上理解重复关系，判断第40秒和第180秒的片段是否属于同一功能段落。注意力机制天然适合这种全局比较，一些工作将音频帧序列的注意力图与自相似度矩阵联合建模，取得了不错的效果。
训练数据方面，公开数据集Salami包含两千余首歌曲的人工结构标注，是这一领域最常用的基准。衡量指标方面，边界检测通常看正负3秒容差内的F1值，段落标注则使用段落级别的准确率以及ARI等指标。
应用场景与工程落地建议
曲式结构分析有大量实际用途。音乐推荐系统可以用副歌位置提取最抓耳的片段做试听预览；视频剪辑工具可以依据段落边界自动卡点；DJ软件可以借助结构信息推荐安全的混音切换点；音乐教育应用则可以把结构可视化，帮助学习者理解编曲逻辑。
在工程实践中，有几点经验值得注意。第一，特征的时间平滑处理很关键，原始帧级特征噪声大，通常先按节拍网格聚合，能显著提升相似度矩阵的块状清晰度。第二，边界检测和段落标注最好分层处理，先用传统方法拿到稳健的边界，再用分类模型打标签，比端到端方案更容易调优。第三，不同曲风的差异很大，电音的结构往往规整清晰，爵士即兴段落则几乎无固定结构，上线前最好按曲风分组评估。
如果想在生产环境快速落地，可以先用librosa搭建基线系统，验证数据质量，再逐步引入神经网络模型替换边界检测环节。一首四分钟的歌曲在现代CPU上几秒内即可完成分析，完全满足离线批处理的需求。