音乐风格迁移是AI创作领域里一个很有意思的方向。同样是那段旋律，用古典的严肃织体演奏出来是一种感觉，换成爵士的摇摆节奏、蓝调音阶和即兴装饰音，立刻就是另一番风味。这篇文章围绕一个具体目标展开：把一首古典钢琴曲转换成具有爵士特征的演奏版本。我们会从原理讲到实现，给出可以直接跑起来的代码框架，也会聊聊这条路上常见的坑。
音乐风格迁移的底层原理是什么
要理解风格迁移，首先要理解音乐信号在AI眼里的形态。绝大多数音频模型不会直接处理波形，而是先把音频转换成时频表示，最常用的是梅尔频谱图（Mel Spectrogram）。一段音频经过短时傅里叶变换后，会得到一张横轴为时间、纵轴为频率的二维图像，这恰好可以用图像领域的方法来处理。
风格迁移的核心假设来自Gatys等人那篇著名的图像风格迁移论文：内容与风格在特征空间中是可分离的。对于音乐来说，内容对应旋律走向、和声骨架、曲式结构这些宏观信息；风格则对应音色、节奏律动、装饰音习惯、配器偏好等统计特征。在卷积网络提取的特征中，内容可以用特征图本身来表示，而风格可以用不同通道特征之间的相关性矩阵（即Gram矩阵）来刻画。古典乐的Gram矩阵会呈现出规整、对称的相关性结构，爵士乐则因为切分节奏和丰富泛音而呈现出更松散、更活跃的相关性。训练时，我们让生成结果的特征尽量接近原曲的内容表示，同时让它的Gram矩阵尽量接近爵士乐数据集的风格统计特征。
除了直接在频谱域做迁移，还有一条完全不同的技术路线：符号音乐路径，也就是处理MIDI而不是音频。MIDI记录的是音符事件（音高、力度、起止时间），本身剥离了音色信息，做风格转换时只需要让模型学习爵士的节奏量化习惯、和弦外音规则和摇摆比例，最后再用音源渲染成音频。这条路避开了一部分音频信号的复杂性，在学术界的可控性实验里用得很多。
动手实现：搭建一条可运行的风格迁移管线
下面用PyTorch演示一个基于Gram矩阵损失的频谱域风格迁移方案。整体流程是：加载古典音频，计算梅尔频谱，用一个预训练的卷积自编码器提取特征，然后通过优化循环不断调整一张随机初始化的频谱图，使其同时满足内容损失和风格损失，最后用声码器还原成音频。
import torch
import torchaudio
import torchaudio.transforms as T
# 音频预处理：重采样并计算梅尔频谱
def load_spectrogram(path, sr=22050):
wav, orig_sr = torchaudio.load(path)
if orig_sr != sr:
wav = T.Resample(orig_sr, sr)(wav)
mel = T.MelSpectrogram(
sample_rate=sr, n_fft=2048,
hop_length=512, n_mels=256
)(wav)
# 转成对数刻度，压缩动态范围
return torch.log(mel + 1e-9)
content_spec = load_spectrogram('bach_piano.wav') # 古典原曲
style_spec = load_spectrogram('jazz_sample.wav') # 爵士参考
# 一个简单的特征提取器（实际项目中建议用预训练模型）
class FeatureExtractor(torch.nn.Module):
def __init__(self):
super().__init__()
self.conv1 = torch.nn.Conv2d(1, 32, 5, padding=2)
self.conv2 = torch.nn.Conv2d(32, 64, 5, padding=2)
def forward(self, x):
h = torch.relu(self.conv1(x))
return h, torch.relu(self.conv2(h))
def gram_matrix(feat):
b, c, h, w = feat.size()
feat = feat.view(c, h * w)
return feat @ feat.t() / (c * h * w)
extractor = FeatureExtractor()
target_c, _ = extractor(content_spec.unsqueeze(0))
_, target_s = extractor(style_spec.unsqueeze(0))
target_gram = gram_matrix(target_s.detach())
# 优化目标频谱
gen = content_spec.clone().requires_grad_(True)
optimizer = torch.optim.Adam([gen], lr=0.02)
for step in range(500):
c_feat, s_feat = extractor(gen.unsqueeze(0))
content_loss = torch.mean((c_feat - target_c) ** 2)
style_loss = torch.mean((gram_matrix(s_feat) - target_gram) ** 2)
loss = content_loss + 50 * style_loss # 风格权重需要调
optimizer.zero_grad()
loss.backward()
optimizer.step()
if step % 100 == 0:
print(f'step {step}, loss {loss.item():.4f}')
# 用神经声码器把频谱还原成音频（以HiFi-GAN为例）
# vocoder = torch.hub.load('descriptinc/descript-audio-codec相关实现')
# audio = vocoder(gen)
代码里有两个关键的超参数值得展开说。第一个是内容损失与风格损失的权重比，这里设成1比50。如果风格权重太低，输出几乎就是原曲的复制品，听不出爵士味；权重太高则旋律会被爵士的统计特征吞掉，变成一段不知所云的爵士噪音。第二个是迭代次数，500步在CPU上大概几分钟就能跑完，适合快速验证，正式生成时建议跑2000步以上并配合学习率衰减，频谱细节会更干净。
还原音频这一步有个老问题：相位信息在计算频谱时丢掉了。传统做法是用Griffin-Lim算法迭代估计相位，实现简单但音质发闷，钢琴的高频泛音基本糊掉。现在的主流方案是接一个神经声码器，比如HiFi-GAN或MelGAN，它们专门学习从梅尔频谱到波形的映射，还原质量高得多。torchaudio内置了部分声码器接口，也可以从Hugging Face下载社区训练好的权重直接用。
MIDI路径：更可控的爵士化方案
如果目标是让转换结果听起来像真正的爵士编曲，而不只是音色上带点爵士味，MIDI路径往往效果更好。思路是把古典音频先做音源转录（Automatic Music Transcription），转成MIDI音符序列，然后交给一个序列到序列模型做风格重写，最后渲染回音频。
转录环节可以用现成工具，比如Google的Magenta项目里的Onsets and Frames模型，或者Basic Pitch这类轻量方案，对钢琴曲的识别准确率已经相当不错。风格重写环节可以用Transformer架构：把音符事件编码成token序列，模型在大量爵士MIDI数据上训练后，能学会爵士的典型手法，包括摇摆节奏下八分音符的长短比例（通常是2比1）、和弦的七音九音扩展、半音经过音、以及左手Comping的切分模式。推理时可以控制保留原曲旋律骨架，只对节奏和装饰做爵士化改写。
import pretty_midi
# 读取转录得到的MIDI，做基础的爵士摇摆处理
pm = pretty_midi.PrettyMIDI('transcribed_bach.mid')
def apply_swing(pm, ratio=2.0):
for inst in pm.instruments:
for note in inst.notes:
# 以十六分音符为网格，奇数位置的音符向后拖
grid = 0.125 # 十六分音符时值（120BPM下）
pos_in_grid = (note.start % grid) / grid
if 0.4 < pos_in_grid < 0.9:
note.start += grid * (ratio - 1) / 2
note.end += grid * (ratio - 1) / 2
apply_swing(pm, ratio=2.0)
pm.write('jazzified_bach.mid')
上面这段代码演示了最简化版的摇摆处理：把落在网格后半段的音符统一延后，模拟爵士乐手把平直八分音符弹成长短不均的摇摆感觉。实际项目中，这种规则化的改写适合做数据增强或快速原型，想要更地道的爵士语法还是得靠序列模型学习。两条路线并不是互斥的，很多完整的系统会先用MIDI路径改写音乐结构，再在渲染环节用频谱域迁移给音色注入爵士质感，各取所长。
训练数据与常见翻车点
不管走哪条路线，数据都是决定效果上限的因素。频谱域方案需要收集足够的爵士乐音频，注意采样率统一到22050或44100，音量做响度归一化，否则Gram矩阵会被响度差异带偏。MIDI路径推荐Lakh MIDI Dataset，里面有十几万首多轨MIDI，可以按流派标签筛出爵士子集；如果想做钢琴专属的爵士化，转手找爵士钢琴的标准曲集（Standards）也是不错的起点。
几个高频翻车点值得提前知道。一是内容损失权重过高导致输出退化为原曲，调参时要先固定内容权重，从小到大扫风格权重，找到旋律还听得出来、但律动明显变化的区间。二是频谱重建时出现金属感的伪影，多半是hop_length设置过小或声码器的n_mels配置与训练时不一致，两边的梅尔参数必须严格对齐。三是数据里的鼓组干扰，鼓的宽频特性会让风格统计特征严重偏向节奏维度，训练前最好用音源分离工具把鼓轨剥离掉。四是评估别只看损失值，损失收敛不代表听感好，一定要定期导出音频用耳朵验收，风格迁移是艺术问题，最终指标始终是人耳。
总的来说，古典转爵士这件事在技术上的可行路径已经很成熟：小规模玩票用频谱域优化加现成声码器，一个下午就能出结果；想做正经产品就走MIDI重写加渲染的管线，可控性和上限都更高。理解了内容与风格分离这个核心思想之后，把爵士换成电子、民谣或者任何目标风格，整条管线几乎不用改结构，只换数据就行。