Kyutai推出MuScriptor开源多乐器转录模型，实现高精度MIDI生成

模型概述

MuScriptor 是 Kyutai 与 Mirelo 合作研发的解码器唯一（decoder‑only）Transformer，专注于将混合乐器音频自动转录为标准 MIDI。模型首先将 5 秒音频片段转为 mel‑spectrogram，随后以自回归方式预测基于 MT3 方案的 pitch、timing、instrument 三类 token，等同于把转录任务视作语言模型预测。当前发布三种规模：

small：103M 参数
medium（默认）：307M 参数
large：1.4B 参数

推理代码采用 MIT 许可证，模型权重采用 CC BY‑NC 4.0，商业使用受限。

三阶段训练管线

MuScriptor 的核心创新在于 数据驱动 而非架构改动，训练分为三步：

DSynth 预训练 – 使用约 145 万合成 MIDI，训练时通过实时合成管线生成音频，加入调音、变速、力度、乐器随机化等增强；超过 250 种 SoundFont 与随机失调提供几乎无限的音色组合。
DReal 精调 – 基于内部收集的 17 万真实录音（总时长 11,000 小时），通过插值与动态时间规整实现音频‑符号对齐，过滤对齐误差大的样本。
DRL 后训练 – 采用类似 GRPO 的强化学习方法，对 300 条人工验证轨道进行 REINFORCE + group‑relative advantage 正规化，奖励函数为 onset、frame、offset 三个 F1 的加权和，进一步提升起止时点的准确性。

基准评估

在公开数据集 DTest（372 条持有准确标注的曲目）上，MuScriptor 与基线 YourMT3+ 的对比如下（large 模型）：

模型	Onset F1	Frame F1	Offset F1	Drums F1	Multi F1
YourMT3+	32.5	45.5	17.8	41.4	21.9
MuScriptor · DSynth	34.5	48.9	16.1	20.1	6.2
+ DReal	54.4	69.3	42.3	34.3	41.6
+ DRL	60.4	73.3	49.0	48.2	48.2

可以看到，真实数据的加入提升约 20 分，强化学习进一步压缩漏检并 sharpen 起止时点。跨数据集测试同样显示，帧 F1 在 Dagstuhl ChoirSet 上从 51.0 提升至 80.7，虽在合唱等复杂风格上仍有提升空间。

使用指南

pip install muscriptor  # 或 uv add muscriptor

from pathlib import Path
from muscriptor import TranscriptionModel

# 自动下载并加载默认 medium 版本
model = TranscriptionModel.load_model()

# 实时流式转录，支持乐器条件
for event in model.transcribe("audio.wav", instruments=["acoustic_piano", "drums"]):
    print(event)  # NoteStartEvent / NoteEndEvent / ProgressEvent

# 直接保存为 MIDI 文件
Path("out.mid").write_bytes(model.transcribe_to_midi("audio.wav"))

模型默认 cfg_coef 为 1，已完成 RL 后训练。large 规模模型推荐使用 GPU（至少 12GB 显存）以保证实时速度。

应用场景与局限

音乐制作：快速提取混音中的贝斯、钢琴等声部，便于在 DAW 中二次编曲。
乐理研究：将历史录音转为可编辑乐谱，辅助音乐学分析。
音乐信息检索：为 MIR（Music Information Retrieval）任务提供高质量的音符序列，提升和弦、调式识别的准确性。
教育工具：同步展示钢琴卷轴，帮助学生对照音频练习。

局限：

权重采用 CC BY‑NC，商业部署需额外授权。
Tokenizer 未保留力度信息，且无法表示同音同乐器的重叠音符。
在合唱、复杂和声等风格上起止/结束点仍表现欠佳。
大模型对显存要求高，5 秒片段限制了长程上下文捕获。

“MuScriptor 证明了开放模型在多乐器转录领域同样可以达到科研前沿的性能。” – Kyutai 团队技术负责人

总体而言，MuScriptor 为音频‑符号转换提供了开源且高效的方案，既可供研究者复现，也能直接服务于音乐创作与分析工作流。