谷歌推出全能扒谱 AI 只要听一遍歌曲
发布时间：2022-01-03 14:41:54 所属栏目：动态 来源：互联网
导读：听一遍曲子，就能知道乐谱，还能马上演奏，而且还掌握十八般乐器，钢琴、小提琴、吉他等都不在话下。这就不是人类音乐大师，而是谷歌推出的多任务多音轨音乐转音符模型 MT3。 首先需要解释一下什么是多任务多音轨。通常一首曲子是有多种乐器合奏而来，每个
|
听一遍曲子，就能知道乐谱，还能马上演奏，而且还掌握“十八般乐器”，钢琴、小提琴、吉他等都不在话下。这就不是人类音乐大师，而是谷歌推出的“多任务多音轨”音乐转音符模型 MT3。 首先需要解释一下什么是多任务多音轨。通常一首曲子是有多种乐器合奏而来，每个乐曲就是一个音轨，而多任务就是同时将不同音轨的乐谱同时还原出来。 事实上，谷歌 MT3 在还原多音轨乐谱这件事上，达到了 SOTA 的结果。谷歌已将该论文投给 ICLR 2022。 还原多音轨乐谱 相比与自动语音识别 (ASR) ，自动音乐转录 (AMT) 的难度要大得多，因为后者既要同时转录多个乐器，还要保留精细的音高和时间信息。 多音轨的自动音乐转录数据集更是“低资源”的。现有的开源音乐转录数据集一般只包含一到几百小时的音频，相比语音数据集动辄几千上万小时的市场，算是很少了。 先前的音乐转录主要集中在特定于任务的架构上，针对每个任务的各种乐器量身定制。因此，作者受到低资源 NLP 任务迁移学习的启发，证明了通用 Transformer 模型可以执行多任务 AMT，并显著提高了低资源乐器的性能。作者使用单一的通用 Transformer 架构 T5，而且是 T5“小”模型，其中包含大约 6000 万个参数。 该模型在编码器和解码器中使用了一系列标准的 Transformer 自注意力“块”。为了产生输出标记序列，该模型使用贪婪自回归解码：输入一个输入序列，将预测出下一个出现概率最高的输出标记附加到该序列中，并重复该过程直到结束。 生成的乐谱通过开源软件 FluidSynth 渲染成音频。此外，还要解决不同乐曲数据集不平衡和架构不同问题。 作者定义的通用输出 token 还允许模型同时在多个数据集的混合上进行训练，类似于用多语言翻译模型同时训练几种语言。这种方法不仅简化了模型设计和训练，而且增加了模型可用训练数据的数量和多样性。 （编辑：大连站长网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
站长推荐