AI自動作曲

今最も進化した音楽生成AIと言っても良いでしょう。 あまりに高度な、そしてアーティストの音楽スタイルのみならず、歌声までもが生成できるため、音楽のディープフェイクと称されるOpen AIの音楽生成ニューラルネットワーク “Jukebox” https://openai.com/blog/jukebox/ ４月３０日の発表から２ヶ月少々経過しましたが、昨日（７月１１日）にCANPLAYでもようやく講義として取り扱う事ができました。その解説の中から一部を記事にして皆様にお伝えしたいと思います。 Jukebox概要 今回Jukeboxを発表したOpen AIは、イーロンマスクが設立時から支援を行っている事でも知られる非営利のAI（人工知能）研究機関です。 昨年２０１９年にMuseNetという、当時としてはもっとも高度な、音楽生成ニューラルネットワークを発表していました。（MuseNet解説の過去記事はこちら）https://canplay-music.com/2019/04/28/musenet/ そのMuseNetから約１年後の今回、新たな音楽生成ニューラルネットワークとして発表されたのがこのJukeboxです。当初、Jukeboxは、MuseNetの機能向上版なのではないか？、、、と予想していたのですが、その予想を遥かに上回る、全く次元の違う高度な音楽生成ニューラルネットワークへと進化していました。驚くべき進化です。 Jukeboxの特徴 Jukeboxの特徴です。 ・MIDIデータではなくオーディオデータを学習および生成・歌声まで生成・詩も生成・学習データは１２０万曲（うち約６０万曲が英語の曲） 一番大きなインパクトはMIDIデータではなくオーディオデータそのものを学習&生成する事でしょう。（MIDIとは電子楽器の共通規格で、異なる電子楽器やコンピュータ間で音符データのやりとりを行う事ができます） 先にお話ししたMuseNetも含め、これまでの音楽生成AIはすべてMIDIデータ（音符）を学習し、生成を行っていました。 もし音楽のオーディオデータそのものを学習し、生成が行えるのであれば、色々な音響情報を含めた、遥かに高度な事が実現できます。しかしなぜ、これまでそれができなかったのか？ オーディオデータはMIDIデータに比べあまりに取り

OpenAIの新しい音楽生成ニューラルネットワークプロジェクトJukeboxです。https://openai.com/blog/jukebox/ OpenAIと言えば、ちょうど１年ほど前にMuseNetを解説しました。 MuseNetの記事はこちらイーロンマスクが支援するAI研究団体OPEN AIが新しい音楽生成プログラムMuseNetをリリース 今回はマルチトラックの音楽生成モデルとしては最高精度を誇っていたMuseNetをさらに進化、、、というよりも、全く異なるレベルの音楽生成を可能とするニューラルネットワークになっています。 Jukeboxの特徴・音符データではなく波形データを学習生成・歌声まで生成・詩も生成・学習データは１２０万曲（うち約６０万曲が英語の曲）・ソースコードが公開されている 一番大きなインパクトは音符データではなく波形データそのものを学習&生成する事でしょう。これに合わせ、歌声の生成までもが行えます。詩についてはOpenAIの他の言語生成モデルを使用して行う様です。 以前から波形領域での生成が行われる様になると、音楽への影響度は全く異なる大きなものになる、と解説し続けてきましたが、遂にその第一歩です。今回はまだ十分に検証していないのでこの辺りの解説は行いません。いずれしっかりと情報をまとめ皆さんにシェアします。 まずは本日実装をし、最初の実践を行いましたので簡単に報告させていただきます。 生成ですが、非常に大変でした、、、かなりのPCパワーが必要で、割と高性能のGPUを使用しているのですが１曲生成に数時間必要な感じです。。数曲ご視聴ください。 ２曲目の方は歌声と、詩らしいものも聞こえてきます。音楽としてはこれからですが、個人的には人間では絶対に作れないこの状態の楽曲も実は面白いと感じ意外に惹かれてしまいました。３曲目のsample04は楽曲として成立し始めていますね。４曲目はPrinceスタイルの生成曲です。ジャンルはRockを選びましたがバラード風ですね。こここまでくると正直ヤバイ領域に入ってしまったのではないかと、、、、タイトルにある通り、音楽のディープフェイクと評する方もいるみたいですが、言い得て妙です。いよいよ本格的に権利や、倫理の問題を議論しなければいけない時期に入ってきたと思います。 AI音楽生成は、これまでとは次元もレ

ヒップホップファン、もしくはラッパー、トラックメーカーであれば説明不要のTrap（ヒップホップのビートの種類の一つ）。このTrapビートをAIで生成、１ドルで購入し使用できるという新しいサービス The Trap Factoryhttps://thetrapfactory.com/がひっそりとリリースされています。UIをみてもわかるとおり、大手の運営などではなく、かなりプライベートな感じです。 生成してみましたので、その様子を動画でご覧ください。 かなり本格的なTrapビートになっていますね。 新たなタイプビートとしてAIからヒット曲が生まれるか？ 皆さん、タイプビートはご存知でしょうか？ Youtubeなどで誰々風（誰々タイプ）のビートを探しそれを数千円で購入、ラップを載せてリリース、というのがヒップホップ界で密かなブーム？になっています。 アメリカで昨年１９週連続ビルボードチャート１位を記録したLil Nas Xの Old Town Roadはこのタイプビートを数千円で購入して使用した楽曲だそうです。 さらに２０１９年末から２０２０年初頭に、Spotifyのバイラルチャートで世界１位となったLoveLeoのBoyfrenも数千円で購入したタイプビートとの事です。 彼はレコーディングも自宅のベッドルームでMac Bookのマイクで録音したとか！ 筆者は現在執筆中のAI音楽本の中で、将来AI音楽で起こりうる可能性の一つとして、このタイプビートをAIが生成して、安価で購入したラッパーがヒット曲を生み出す可能性を書いているのですが、それが実現する可能性が徐々に出てきた様に思えます。 ヒップホップは元々トラックはブレークビーツと言って、他の楽曲の一部分を拝借して成り立った音楽です。主役であるラッパーにとっては、面白ければ、そして自身の表現をしっかりできるビートである事こそが重要。そのためにはサンプリングもタイプビートもどんどん採用する貪欲さ、柔軟さがあるのだと思います。 次はAI生成のビートでしょうか？ 皆様の中でラッパーの方がいらっしゃったら是非チャレンジを！ または筆者にご連絡ください（笑）

ビヨークがマイクロソフトのAI、Azureを使用し、AI音楽生成のプロジェクトを展開し始めました。 Kórsafnと名付けられています。 Kórsafnとはアイスランド語で、「kór」=「choral（合唱曲） 」と「safn」=「アーカイブ」を組み合わせた造語の様です。 正確には、マイクロソフトとニューヨークのシスターシティホテルのコラボレーションプロジェクトにビヨークがジョインしたといった方が良いでしょうか？ 元々このシスターシティーホテルのプロジェクトは、昨年の２０１９年にアンビエントミュージックアーティスト、Julianna Barwickとともに始めたAI音楽生成プロジェクトでした。センサーで感知した情報を元に既存の音楽素材をAI（マイクロソフトのAzure）で組み合わせて、リアルタイムに変化する音楽を生成しホテルのロビーで流す、という実験的な試みです。その音楽素材としてビヨークが自身の合唱曲を提供するのが今回のKórsafnです。合唱曲は、音源が組み合わされ再生されるだけでなく、一部は５０人からなるアイスランド（ビヨークの出身国）の有名な合唱団”ハムラリッド合唱団”によって生で歌われているらしいです。 ハムラリッド合唱団 どんな方法でAIが活用され、ビヨークの合唱曲が組み合わされ生成されているのか？ シスターシティーホテルの屋上に設置されたカメラで空を撮影、雲や鳥などを物体検出し、何かしらのアルゴリズムを使用して（これは是非知りたいところですが、情報は非公開の様です）音楽素材を選択、組み合わせて生成している様です。 こちらにデモの動画がありますのでご覧になってみてください。 いかがでしょうか？ シスターシティーホテルのウェブサイトにアクセスすると、現在の空の様子と、それを元にしたリアルタイム生成音楽が聴ける様なので是非アクセスしてみてください。 https://sistercitynyc.com/bjork 個人的にもAI音楽の未来は、既存曲（人ができる作曲）の自動化ではなく、新しい表現手法を実現し音楽の可能性を拡げるものであって欲しい（ゆえにそれを研究しているのです）と思っています。それを現時点で具体化し実践した好例になる事を期待しています。 なおマイクロソフトの公式ブログ（英語）のURLはこちらです。 https://www

AI（機械学習）で作曲できるキーボード！ AWS DeepComposer AWS（アマゾンウェブサービス）が世界初の機械学習で音楽生成できるキーボードを年次イベントAWS re:Invent 2019で発表しました。 https://aws.amazon.com/jp/deepcomposer/ AWS DeepComposer概要 AWS DeepComposerは３２鍵（２オクターブ半）のミニ鍵盤と各種コントロールのボタン、ノブを装備するキーボードです。 米国のみ９９ドルで予約開始DeepComposer販売ページ（米国Amazon） 豊富なコントロール類がどの様に活用されるのかはまだわかりませんが、意味のある（生成曲内容に反映される）ものであると考えて良いでしょう。 このキーボードからAWS DeepComposer コンソール（AWS上にあるDeepComposer用の機械学習プログラム）にメロディーを入力、ロック、ジャズなどの中から希望のジャンルを選択すると自動でアレンジした演奏を加えてくれる仕組みになっている様です。 生成した曲はダイレクトにSoundCloudにアップできるというのもなかなか面白い機能です。 こちらのAWSブログ中程にベートーベンのOde to Joy（第九）を演奏およびDeepComposerで生成した２曲の実演、比較があります。 AWS DeepComposer Blog いかがですか？ ドラム、オーバードライブとクリーンのギター、ベースの演奏で生成されていますが、かなりできが良いと感じます。 人はメロディーは自分で作りたいけれどアレンジは難しいのでできない、というケースは多いので、DeepComposerの音楽生成の方法はニーズに合ったリーズナブルなものかもしれません。 キーボードからすぐにメロディーを入力、数秒で生成、SoundCloudへの直接アップと一連の流れは非常に簡単ですし、”バズる”曲が生まれるかもしれません。 DeepComposerでの生成の流れ １・AWSにログインしDeepComposerコンソールへ（バージニア北部リージョンなので注意）。 ２・DeepComposerキーボードから演奏しメロディー入力。またはコンソール画面にも仮想キーボードがあるのでPCでの入力も可能な様です。 ３・生成モデルの選択。Pr

AIは音楽を何回学習させたら作曲できるのか？？？ AI自動作曲研究LAB第９回での実験をご報告させていただいます。 学習させた曲は会員様にご提供いただいた全て８小節の単音MIDIファイル。スタンダードのジャズナンバーやアドリブ演奏のジャズピアノなど５曲だけを学習させます。 まずは生成の楽曲をまとめた動画をご覧ください。 学習５００回時間にして約１５分ほどでしょうか？（５曲なので抜群に早いです！）Accuracyも1.0に近く、Lossも比較的少ない状態に早くもなっています。（下図学習のデータ結果参照）しかしながら楽曲はまだまだ単なるランダムな音の配列に過ぎず。音階も外れていますし、リズムも周期性がありません。 学習５０００回 かなりオリジナル曲の雰囲気が出てきています。 学習２００００回 ほぼオリジナル曲の１曲のみをほぼ再現。 ここまで再現されると過学習な状態と考えても良いでしょう。というよりもそもそもデータ数が少ないので当然なのですが、、、、下図の学習データからも過学習な状態が見受けられます。Accuracyが1.0でLossもほぼなし。これ以上このまま学習をさせる意味はないでしょう。 学習２００００回できらきら星をミックス 過学習の予測通り、きらきら星には対応しきれてません。 特定のデータには対応できますが未知のデータに対応できない状態です。 少ないの楽曲数の学習であれば数千回で過学習になってしまいます。色々な作曲を可能とする様な汎用性を身につけるにはやはり５曲という曲数が（当然ながら）あまりにも少ないです。 数千〜数万曲は欲しいところでしょうか？ 今後も色々な面白い実験を皆様に発表して行きたいと思っています。