イーロンマスクが支援するAI研究団体OPEN AIが新しい音楽生成プログラムMuseNetをリリース

イーロンマスクが支援している事でも知られるAI研究団体OPEN AI
https://openai.com/
が新しい音楽生成プログラムMuseNetをリリースしました。
https://openai.com/blog/musenet/

MuseNetは、ディープニューラルネットワークによる音楽生成プログラムです。
最大10トラックに10種類の楽器を使って4分間の楽曲を生成。
生成曲はカントリーからモーツァルト、ビートルズまでのスタイルを組み合わせることができます。

 

MuseNetではGoogleのMagentaでも使用されているMaestroDataSetから数十万曲におよぶMIDIファイルを学習データとして使用。
各楽曲のハーモニー、リズム、スタイルのパターンを発見する事で音楽の予測および生成を行なっております。

アルゴリズムは、先日発表され、あまりにも精度の高い文章生成が可能なためオープン化が見送られた教師なしの文章生成言語モデル「GPT-2]と同様のものが採用されている様です。

GPT-2の論文(英語)はこちら
https://d4mucfpksywv.cloudfront.net/better-language-models/language-models.pdf

今回MuseNetはコードが公開されていないのですが、理由はこのGPT-2のアルゴリズムに関する問題があるのかもしれません。

サンプル曲を聴いてみましょう。

こちらはショパンのノクターンから最初の6音を与えられBon Joviのスタイルで生成された楽曲との事です。

いかがでしょうか。


次はピアノ、ベース、ドラムのJazzトリオでの音楽生成です。

よくできてますね。
我々もJazzの生成実験は行なっていますが、この様なオールドスタイルのジャズの生成は難しいので素直によくできているなと思いました。

MuseNetは5月12日までサイト上で誰もが音楽生成を試せると言う事なので是非試してみてはいかがでしょうか?
https://openai.com/blog/musenet/#try

以下は我々の生成実験です。

最初はBeatlesのスタイルでLuis FonsiのDespacito

使用楽器はピアノ、ギター、ストリング、ベース、ドラムです。
トークンとは、生成される音の数と思ってもらえれば良いでしょう。

BeatlesスタイルLuis FonsiのDespacito



次はJazzスタイルでLady GAGAのPoker Face
使用楽器は同じくピアノ、ギター、ストリング、ベース、ドラムです。

いかがですか?
非常に精度も高く面白いです。
皆様も生成実験してみてください。

今回MuseNetのサイトで興味を惹かれた事の一つが画像の様に学習させた各アーティストやジャンルのスタイルの相関性をビジュアル化した事。
例えばMichaelJacksonはMariah Careyの他、Spice GiirlsやFleetwood Mac!まで関連性があると。
どうやって関連性があると導いたのかは検証が必要ではあるものの、今後のAIで学習させる際のスタイル考察などにも大いに示唆となりそうです。

技術的な事でも注目の記載がありました。
Musenetは今回Sparse Transformer
https://openai.com/blog/sparse-transformer/
のカーネルを使用。
24のAttenntionを使用した72層のニューラルネットワークが使用されているとの事。
4096のトークン(1曲について?)の学習をしています。
これにより時間軸に整合性を持たせた楽曲生成が行えている様です。

canplayでの授業やAI音楽の研究会でも以前お話しさせていただいたTransformerですが、
今回のMuseNetによると音楽は画像とテキストの中間に位置するため、Transformer(今回はSparseTransformer)を使用するのに非常に適しているとの事。
音楽データのトークン(各データの最小単位)は非常に流動的で、特にリズムによって複雑な構造とその変化を持っているのですが、SparseTransformerによって時間軸が長くなってもその音楽構造を捉える事ができると記載されています。
(この辺りもコードやそれによる検証が必要ですが)

また前述どおりデータがMagentaでおなじみのMaestro Datasetが使用されいています。
加えて学習の際に
・音程の上げ下げと移調。各楽器に合わせた音程の範囲の調整
・各楽器のボリュームとバランスの調整
・発音タイミングの調整
など工夫がされているとの事。

各音楽データとメロディーに関しても色々な実験や工夫がされている様です。

オープンはされないのでしょうけれど、コードをみてみたいです。

OpenAIのMuseNet Concertをwww.twitch.tvから視聴する

記事投稿日:2019/4/28

コメントを残す

メールアドレスが公開されることはありません。