AI情報

今最も進化した音楽生成AIと言っても良いでしょう。 あまりに高度な、そしてアーティストの音楽スタイルのみならず、歌声までもが生成できるため、音楽のディープフェイクと称されるOpen AIの音楽生成ニューラルネットワーク “Jukebox” https://openai.com/blog/jukebox/ ４月３０日の発表から２ヶ月少々経過しましたが、昨日（７月１１日）にCANPLAYでもようやく講義として取り扱う事ができました。その解説の中から一部を記事にして皆様にお伝えしたいと思います。 Jukebox概要 今回Jukeboxを発表したOpen AIは、イーロンマスクが設立時から支援を行っている事でも知られる非営利のAI（人工知能）研究機関です。 昨年２０１９年にMuseNetという、当時としてはもっとも高度な、音楽生成ニューラルネットワークを発表していました。（MuseNet解説の過去記事はこちら）https://canplay-music.com/2019/04/28/musenet/ そのMuseNetから約１年後の今回、新たな音楽生成ニューラルネットワークとして発表されたのがこのJukeboxです。当初、Jukeboxは、MuseNetの機能向上版なのではないか？、、、と予想していたのですが、その予想を遥かに上回る、全く次元の違う高度な音楽生成ニューラルネットワークへと進化していました。驚くべき進化です。 Jukeboxの特徴 Jukeboxの特徴です。 ・MIDIデータではなくオーディオデータを学習および生成・歌声まで生成・詩も生成・学習データは１２０万曲（うち約６０万曲が英語の曲） 一番大きなインパクトはMIDIデータではなくオーディオデータそのものを学習&生成する事でしょう。（MIDIとは電子楽器の共通規格で、異なる電子楽器やコンピュータ間で音符データのやりとりを行う事ができます） 先にお話ししたMuseNetも含め、これまでの音楽生成AIはすべてMIDIデータ（音符）を学習し、生成を行っていました。 もし音楽のオーディオデータそのものを学習し、生成が行えるのであれば、色々な音響情報を含めた、遥かに高度な事が実現できます。しかしなぜ、これまでそれができなかったのか？ オーディオデータはMIDIデータに比べあまりに取り

OpenAIの新しい音楽生成ニューラルネットワークプロジェクトJukeboxです。https://openai.com/blog/jukebox/ OpenAIと言えば、ちょうど１年ほど前にMuseNetを解説しました。 MuseNetの記事はこちらイーロンマスクが支援するAI研究団体OPEN AIが新しい音楽生成プログラムMuseNetをリリース 今回はマルチトラックの音楽生成モデルとしては最高精度を誇っていたMuseNetをさらに進化、、、というよりも、全く異なるレベルの音楽生成を可能とするニューラルネットワークになっています。 Jukeboxの特徴・音符データではなく波形データを学習生成・歌声まで生成・詩も生成・学習データは１２０万曲（うち約６０万曲が英語の曲）・ソースコードが公開されている 一番大きなインパクトは音符データではなく波形データそのものを学習&生成する事でしょう。これに合わせ、歌声の生成までもが行えます。詩についてはOpenAIの他の言語生成モデルを使用して行う様です。 以前から波形領域での生成が行われる様になると、音楽への影響度は全く異なる大きなものになる、と解説し続けてきましたが、遂にその第一歩です。今回はまだ十分に検証していないのでこの辺りの解説は行いません。いずれしっかりと情報をまとめ皆さんにシェアします。 まずは本日実装をし、最初の実践を行いましたので簡単に報告させていただきます。 生成ですが、非常に大変でした、、、かなりのPCパワーが必要で、割と高性能のGPUを使用しているのですが１曲生成に数時間必要な感じです。。数曲ご視聴ください。 ２曲目の方は歌声と、詩らしいものも聞こえてきます。音楽としてはこれからですが、個人的には人間では絶対に作れないこの状態の楽曲も実は面白いと感じ意外に惹かれてしまいました。３曲目のsample04は楽曲として成立し始めていますね。４曲目はPrinceスタイルの生成曲です。ジャンルはRockを選びましたがバラード風ですね。こここまでくると正直ヤバイ領域に入ってしまったのではないかと、、、、タイトルにある通り、音楽のディープフェイクと評する方もいるみたいですが、言い得て妙です。いよいよ本格的に権利や、倫理の問題を議論しなければいけない時期に入ってきたと思います。 AI音楽生成は、これまでとは次元もレ

ビヨークがマイクロソフトのAI、Azureを使用し、AI音楽生成のプロジェクトを展開し始めました。 Kórsafnと名付けられています。 Kórsafnとはアイスランド語で、「kór」=「choral（合唱曲） 」と「safn」=「アーカイブ」を組み合わせた造語の様です。 正確には、マイクロソフトとニューヨークのシスターシティホテルのコラボレーションプロジェクトにビヨークがジョインしたといった方が良いでしょうか？ 元々このシスターシティーホテルのプロジェクトは、昨年の２０１９年にアンビエントミュージックアーティスト、Julianna Barwickとともに始めたAI音楽生成プロジェクトでした。センサーで感知した情報を元に既存の音楽素材をAI（マイクロソフトのAzure）で組み合わせて、リアルタイムに変化する音楽を生成しホテルのロビーで流す、という実験的な試みです。その音楽素材としてビヨークが自身の合唱曲を提供するのが今回のKórsafnです。合唱曲は、音源が組み合わされ再生されるだけでなく、一部は５０人からなるアイスランド（ビヨークの出身国）の有名な合唱団”ハムラリッド合唱団”によって生で歌われているらしいです。 ハムラリッド合唱団 どんな方法でAIが活用され、ビヨークの合唱曲が組み合わされ生成されているのか？ シスターシティーホテルの屋上に設置されたカメラで空を撮影、雲や鳥などを物体検出し、何かしらのアルゴリズムを使用して（これは是非知りたいところですが、情報は非公開の様です）音楽素材を選択、組み合わせて生成している様です。 こちらにデモの動画がありますのでご覧になってみてください。 いかがでしょうか？ シスターシティーホテルのウェブサイトにアクセスすると、現在の空の様子と、それを元にしたリアルタイム生成音楽が聴ける様なので是非アクセスしてみてください。 https://sistercitynyc.com/bjork 個人的にもAI音楽の未来は、既存曲（人ができる作曲）の自動化ではなく、新しい表現手法を実現し音楽の可能性を拡げるものであって欲しい（ゆえにそれを研究しているのです）と思っています。それを現時点で具体化し実践した好例になる事を期待しています。 なおマイクロソフトの公式ブログ（英語）のURLはこちらです。 https://www

以前AI  EXPOの記事で紹介した実在しないアイドル画像をAIで作成できるサービスGENE A.I Dols A.I.Dols Codebaseとしてベータ版がリリースされました。 https://aidols-codebase.gene-aidols.io/en 使用方法はこちらです。 β版A.I.dols Codebaseのプレイ方法 https://medium.com/gene-aidols/β版a-i-dols-codebaseのプレイ方法-97180860db85 1. MetaMaskのインストール A.I.dols CodebaseはEthereumネットワーク上でプレイできます。WEBブラウザにアドオン可能なウォレットMetaMaskを使って、ネットワークにトランザクションを送ることができます。以下のサイトからインストールして下さい。 2. テストETHの入手 β版A.I.dols Codebaseは、メインネットではなくRopstenネットワーク(テストネット)で動作しています。メインネット用のETHは通常、取引所などで入手しますが、Ropsten用のETH(テスト専用で金銭的価値は無い)はfaucetと呼ばれる配布者から貰うことができます。以下のサイトでテストETHをリクエストして下さい。 https://faucet.ropsten.be/ 3. A.I.dols Codebaseにサインイン あとは以下のサイトからサインインすれば、自分だけのオリジナルアイドルを生成できます！ https://aidols-codebase.gene-aidols.io/ なおベータ版では著作権は全てGene A.I.Dolsに帰属するため、商用利用などは不可の模様です。 正規リリースの際は有料サービスとして提供されるのかもしれません。 生成画像を見るとGAN？とも思いますが、遺伝子や第何世代、という表示を見ると遺伝的アルゴリズムを活用しているのかと想像してみたり、、、、 今後、ボディーパーツや声などの生成サービス予定もあると聞いています。 まずはお試しで生成実験いかがでしょうか？

本日第３回 AI EXPOに参加してきました。 本来レビューするつもりはなかったのですが、いくつかAI x 音楽の観点から気が付いた事を（誰も取り上げないと思いますので）書きたいと思います。 まずは、会場すごい人でした！AIの注目度がわかる人、人、人、、、と。これは相当な来場者があったのではないかと思います。そして会場入り口に来年の出展の申し込み受付があったのですが、もうほとんど埋まっている状態、、、すごいです！ さて、各社の出展内容ですが、画像認識系と、チャットボット系が多くを占めている様に見受けられました。 画像認識系は各社それぞれが独自性を競う、チャットボット系はコモディティ化していくのか、低価格のサービスが早くも散見される状態だったと思います。この辺りは他の専門メディアもお伝えすると思いますので我々は音楽系を。 Crimson Technology社のヒーリングミュージック生成サービスとvoidol自動ヒーリングミュージック生成のサービスとリアルタイム音声変換ソフトのVoidolを発表したCrimson Technology社（東京都世田谷区） ヒーリングミュージック生成は、以前ご紹介したEndelhttps://canplay-music.com/2019/03/23/endel-warner/などもあり、最近複数のサービスが立ち上がっています。 実は我々の研究でもその結果が出ており、講義でも研究会でも発表しているのですが、ヒーリングミュージックとAI自動生成の相性はかなり良く、現状一般向けの音楽としてはもっとも製品化に向いているジャンルだと思っております。 それは他社にとっても同様な様でまずは各社、ヒーリングから取り組んでいるという事なのでしょう。 今回のCrimson Technology社に関しては、生成のアルゴリズムに群知能https://ja.wikipedia.org/wiki/%E7%BE%A4%E7%9F%A5%E8%83%BDを活用しているとの事。群知能で音楽生成というのは正直びっくりしたというか意外だったので非常に興味をそそられました。私が群知能について知識不足（興味不足）だった事もあるかと思いますが、これを機会に研究してみたいと思います。 実は我々もヒーリングミュージックの生成AIアルゴリズムはある程度完成していて、制作自体はできて