OpenAI推出Jukebox机器学习框架 可自动生成音乐

  近日，由诸多硅谷大亨联合建立的人工智能非营利组织OpenAI，推出了一款可自动生成音乐的机器学习框架Jukebox，目前该框架已正式在GitHub上进行了发布，供其他研究人员进一步深入研究。

  在半个多世纪前，人们便开始尝试自动去生成音乐，最先出现的是音符产生器，生成可以弹奏的乐谱，但音符生成器最大的局限便在于，它无法捕获人声以及其他音乐细节，如音色、力度和表现力。

  还有一种方法，是直接将音乐建模为原始音频，但由于音频序列很长，因此在音频级别上生成音乐非常困难，以44 kHz，16位元的CD音乐为例，一首4分钟的歌曲，可能要耗费1000万小时的时常。因此要学习音乐的高阶语义，模型需要能够处理极长的相依关系。

  OpenAI在博客中指出，之所以会开始进行人工智能在音乐上的应用，因为这是生成模型当前的界限，OpenAI此前在MuseNet上探索了大量MIDI资料合成音乐的方法，而现在他们从原始音讯中，让模型解决高多样性和超长结构的问题。

  为了训练这个模型，OpenAI在网络上抓了120万首歌组成新的资料集，其中有60万首是英文歌，并配对LyricWiki的歌词和元资料，歌曲元资料包含艺术家、专辑类型和歌曲年份，还有与每首歌曲相关联的心情和播放列表关键字，以32位元44.1 kHz的原始音质，并随机降混(Downmix)左右声道产生单声音讯，达到资料增强的目的。

  但遗憾的是，Jukebox虽然相比此前的方式有了很大幅度提升，但渲染一分钟的音乐仍需9个小时，故此这一应用还无法嵌入在App中共消费者使用，此外Jukebox的训练资料集，大多为西方音乐，歌词部分也均为英文，将来OpenAI希望可以将Jukebox扩展应用更多地区的歌曲。