Bendi新闻
>
吉他摇滚、电子音乐都能搞定,Meta开源音频生成新模型MAGNeT,非自回归7倍提速

吉他摇滚、电子音乐都能搞定,Meta开源音频生成新模型MAGNeT,非自回归7倍提速

9月前

机器之心报道

机器之心编辑部

MAGNeT 有望改变我们体验音乐的方式。

在文本生成音频(或音乐)这个 AIGC 赛道,Meta 最近又有了新研究成果,而且开源了。



前几日,在论文《Masked Audio Generation using a Single Non-Autoregressive Transformer》中,Meta FAIR 团队、Kyutai 和希伯来大学推出了 MAGNeT,一种在掩码生成序列建模方法,可以直接在多个音频 tokens 流上直接运行。与以往工作最大的不同是,MAGNeT 是由单阶段、非自回归 transformer 生成音频。


  • 论文地址:https://arxiv.org/pdf/2401.04577.pdf
  • GitHub 地址:https://github.com/facebookresearch/audiocraft/blob/main/docs/MAGNET.md

具体来讲,在训练期间,研究者预测从掩码调度器获得的掩码 token 的范围;在模型推理阶段, 则通过几个解码步骤逐渐构建输出序列。为了进一步增强生成音频质量,他们提出一种新颖的重评分方法,利用外部预训练模型对来自 MAGNET 的预测进行重评分和排名,然后用于后续的解码步骤。

此外,研究者还探索了 MAGNET 的混合版本,融合自回归和非自回归模型,以自回归的方式生成前几秒,同时对剩余序列进行并行解码。

从生成结果来看,MAGNET 在文本到音频和文本到音乐任务上取得了非常不错的效果,质量媲美 SOTA 自回归基线模型的同时速度是它们的 7 倍。

大家可以听一下生成的音乐效果。


MAGNeT 方法概览

下图 1 为 MAGNeT 原理图,作为一个非自回归的音频生成掩码语言模型,它以条件语义表示为条件,在从 EnCodec 中获得的几个离散音频 token 流上运行。在建模策略上,研究者进行了包括掩码策略、受限上下文、采样机制和模型重评分等几个方面的核心建模修改。



首先来看掩码策略,研究者评估了 20ms 到 200ms 之间的各种跨度长度,并发现 60ms 跨度长度可以提供最佳的整体性能。他们从调度器中采样了掩码率 γ(i),并相应地计算了进行掩码的平均跨度量。此外从计算效率方面考虑,研究者还使用了非重叠跨度。

接着是受限上下文。研究者使用到了 EnCodec 并相应地限制了码本的上下文。具体来讲,音频编码器由多层卷积网络和最终的  LSTM 块组成。EnCodec 感受野的分析结果表明,卷积网络的感受野约为 160ms,而包含 LSTM 块的有效感受野约为 180ms。研究者使用随时间推移的平移脉冲函数并测量了序列中间编码向量的幅度,进而对模型的感受野进行了实证评估。

下图 3 为过程展示,不过 LSTM 尽管在理论上具有无限记忆,但实际观察来看是有限的。



最后是模态推理,包含采样和无分类器指导退火。采样如下公式(3)所示,使用均匀采样从先前一组掩码跨度中选择跨度。在实践中,研究者使用第 i 次迭代时的模型置信度作为评分函数,来对所有可能的跨度进行排序,并相应地选择最不可能进行掩码的跨度。



对于 token 预测,研究者选择使用无分类器指导来完成。在训练期间,他们有条件和无条件地对模型进行优化;在推理期间,他们从获得自条件和无条件概率的线性组合的一个分布中进行采样。

实验及结果

在实验环节,研究者在文本到音乐生成和文本到音频生成任务上对 MAGNeT 进行评估。他们使用了与 Copet et al. (2023) 所用完全相同的音乐生成训练数据,与 Kreuk et al. (2022a) 所用完全相同的音频生成训练数据。

下表 4 展示了用于训练 MAGNeT 以及其他基线方法(包括 MusicGen、MusicLM 和 AudioLDM2)的训练集细节。



下表 1 为 MAGNeT 在文本到音乐生成任务上与其他基线方法的比较结果,使用的评估数据集为 MusicCaps。我们可以看到,MAGNeT 的性能与使用自回归建模方法的 MusicGen 相当,但在生成速度(延迟)和解码两方面比后者快得多。



下图 2a 表明,与自回归基线模型(红色曲线)相比,非自回归模型(蓝色虚线)得益于并行解码在小批大小时表现尤为出色,单个生成样本的延迟低至 600ms,是自回归基线模型的 1/10。可以预见,MAGNeT 在需要低延迟预处理的交互式应用程序中应用潜力很大。此外在批大小达到 64 之前,非自回归模型生成速度都要比基线模型快。



下表 2 展示了跨度长度和受限上下文的消融实验。研究者报告了使用域内测试集时,MAGNeT 在不同跨度长度、有无时间受限上下文情况下的 FAD(Fréchet Audio Distance)分数。



更多技术细节和实验结果请参阅原论文。



© THE END 

转载请联系本公众号获得授权

投稿或寻求报道:[email protected]

微信扫码关注该文公众号作者

来源:机器之心

相关新闻

手机跑大模型提速4-5倍!微软亚研院开源新技术,有CPU就行CPU反超NPU,llama.cpp生成速度翻5倍!LLM端侧部署新范式T-MAC开源今日Arxiv最热NLP大模型论文:清华大学让大语言模型自动并行自回归解码,速度提升高达4倍!中美增班提速!美联航开新航线,每周4班!国航、厦航计划…华人回国更方便了最高提速1440倍!15秒用GCN搞定随机规划,中科院自动化所新成果入选ICML 24只需百行代码,让H100提速30%,斯坦福开源全新AI加速框架加速知识检索:伯克利&DeepMind联合研究,RaLMSpec让语言模型服务飞速提升2-7倍!1月中英实习岗位多到爆!大摩、华泰...新开300+岗位,领表速投!ICML 2024 | 最高提速1440倍!15秒用GCN搞定随机规划!小米大模型提效新框架:训练最高提速34%,推理最高提速52%!Kaldi之父合作出品字节豆包全新图像Tokenizer:生成图像最低只需32个token,最高提速410倍next-token被淘汰!Meta实测「多token」训练方法,推理提速3倍,性能大涨10%+20小时搞定SCI真的假的?是真的!用对AI,轻松提速10倍!​晚点财经丨全文翻译:黄仁勋对话扎克伯格:个人AI、开源和下一代计算平台;瑞幸季度利润下滑,放慢开店速度今日arXiv最热NLP大模型论文:伯克利&DeepMind联合研究,RaLMSpec让检索增强LLM速度提升2-7倍!让CPU跑大模型该怎么做?阿里云交出答卷:AI推理速度飙升7倍速度秒杀GPT-4o!Mistral开源首个22B代码模型破记录,支持80+编程语言OpenAI爆炸更新:GPT-4免费了!新模型GPT-4o发布,视觉、语音能力大幅增强,速度起飞,API打骨折AI视频修复速度10倍提升,过曝变色也能逐帧搞定|美图国科大新算法活不起!纽约房租涨速是工资涨速7倍 差距为全国最大活不起!纽约房租涨速是工资涨速7倍,差距为全美最大!中央一号文件:生物育种提速、农村转移人口加快市民化30行代码,500万长文本推理提速8倍!「树注意力」让GPU越多省的越多比LERF提速199倍!清华哈佛发布LangSplat:三维语义高斯泼溅 | CVPR 2024 Highlight
logo
联系我们隐私协议©2024 bendi.news
Bendi新闻
Bendi.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Bendi.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。