OpenAIの新しい音楽生成ニューラルネットワークプロジェクト
Jukeboxです。
https://openai.com/blog/jukebox/
OpenAIと言えば、ちょうど１年ほど前にMuseNetを解説しました。
MuseNetの記事はこちら
イーロンマスクが支援するAI研究団体OPEN AIが新しい音楽生成プログラムMuseNetをリリース
今回はマルチトラックの音楽生成モデルとしては最高精度を誇っていたMuseNetをさらに進化、、、というよりも、全く異なるレベルの音楽生成を可能とするニューラルネットワークになっています。
Jukeboxの特徴
・音符データではなく波形データを学習生成
・歌声まで生成
・詩も生成
・学習データは１２０万曲（うち約６０万曲が英語の曲）
・ソースコードが公開されている
一番大きなインパクトは音符データではなく波形データそのものを学習&生成する事でしょう。
これに合わせ、歌声の生成までもが行えます。
詩についてはOpenAIの他の言語生成モデルを使用して行う様です。
以前から波形領域での生成が行われる様になると、音楽への影響度は全く異なる大きなものになる、と解説し続けてきましたが、遂にその第一歩です。
今回はまだ十分に検証していないのでこの辺りの解説は行いません。
いずれしっかりと情報をまとめ皆さんにシェアします。
まずは本日実装をし、最初の実践を行いましたので簡単に報告させていただきます。
生成ですが、非常に大変でした、、、
かなりのPCパワーが必要で、割と高性能のGPUを使用しているのですが１曲生成に数時間必要な感じです。。
数曲ご視聴ください。
２曲目の方は歌声と、詩らしいものも聞こえてきます。
音楽としてはこれからですが、個人的には人間では絶対に作れないこの状態の楽曲も実は面白いと感じ意外に惹かれてしまいました。
３曲目のsample04は楽曲として成立し始めていますね。
４曲目はPrinceスタイルの生成曲です。
ジャンルはRockを選びましたがバラード風ですね。
こここまでくると正直ヤバイ領域に入ってしまったのではないかと、、、、
タイトルにある通り、音楽のディープフェイクと評する方もいるみたいですが、言い得て妙です。
いよいよ本格的に権利や、倫理の問題を議論しなければいけない時期に入ってきたと思います。
AI音楽生成は、これまでとは次元もレベルも違う新たなフェーズに入ったと感じています。
さらにcontroversial（物議を醸す）ものになっていくかもしれません。
今回は非常に簡単なご紹介のみでしたが、いずれしっかりとまとめ、生徒様にシェアしますので楽しみにしていてください。