OpenAI推出Jukebox机器学习框架 可自动生成音乐

作者:张伟 来源:原创 2020-05-06

  近日,由诸多硅谷大亨联合建立的人工智能非营利组织OpenAI,推出了一款可自动生成音乐的机器学习框架Jukebox,目前该框架已正式在GitHub上进行了发布,供其他研究人员进一步深入研究。

  在半个多世纪前,人们便开始尝试自动去生成音乐,最先出现的是音符产生器,生成可以弹奏的乐谱,但音符生成器最大的局限便在于,它无法捕获人声以及其他音乐细节,如音色、力度和表现力。

  还有一种方法,是直接将音乐建模为原始音频,但由于音频序列很长,因此在音频级别上生成音乐非常困难,以44 kHz,16位元的CD音乐为例,一首4分钟的歌曲,可能要耗费1000万小时的时常。因此要学习音乐的高阶语义,模型需要能够处理极长的相依关系。

  OpenAI在博客中指出,之所以会开始进行人工智能在音乐上的应用,因为这是生成模型当前的界限,OpenAI此前在MuseNet上探索了大量MIDI资料合成音乐的方法,而现在他们从原始音讯中,让模型解决高多样性和超长结构的问题。

  为了训练这个模型,OpenAI在网络上抓了120万首歌组成新的资料集,其中有60万首是英文歌,并配对LyricWiki的歌词和元资料,歌曲元资料包含艺术家、专辑类型和歌曲年份,还有与每首歌曲相关联的心情和播放列表关键字,以32位元44.1 kHz的原始音质,并随机降混(Downmix)左右声道产生单声音讯,达到资料增强的目的。

  但遗憾的是,Jukebox虽然相比此前的方式有了很大幅度提升,但渲染一分钟的音乐仍需9个小时,故此这一应用还无法嵌入在App中共消费者使用,此外Jukebox的训练资料集,大多为西方音乐,歌词部分也均为英文,将来OpenAI希望可以将Jukebox扩展应用更多地区的歌曲。

发布
X
第三方账号登录
  • 微博认证登录
  • QQ账号登录
  • 微信账号登录