AIがトラックを3パートにリアルタイム分離するiOS DJアプリ djay Pro AI

Algoriddim djay - the #1 DJ app for Mac, iOS, Apple Watch and Android

DJソフトで知られるalgoriddim社がAIで
・ボーカル
・インストルメント
・ドラム
の3パートにリアルタイム分離できるDJアプリ

djay Pro AI
をiOS専用でリリースしました。
https://www.algoriddim.com/djay-ios


この種の分離ソフトとしてはiZotopeのRX7など、色々なソフトがすでに発売されています。
またストリーミングサービス大手のdeezerもAPIとして同様な3パート分類プログラムのコードを公開していたり、PythonでもLibrosaの様な音楽ライブラリで同様の事はできます。
これらはAIが使用されている訳ではありません。
そのためこのdjay Pro AIが、技術的に何がAI使用なのか?今ひとつわかりづらいのですが、動画でわかる通りリアルタイムに分割した3パートのバランスをフェーダーで操作できるのはすごいです!
この技術にAIが使用されている様です。
このリアルタイム度、応答性はこれまでの同様なプログラムよりも確かに優れている様に思います。
この技術をalgoriddimではNeural MIXと名付けています。


Neural MIXとは?

algoriddim社によると、リアルタイムに音楽ソースを非破壊で分離できるAIベースのテクノロジーだそうです。

Neural MIX
https://www.algoriddim.com/neural-mix



その他の特徴としては、iOS専用のアプリとしてA12Z Bionicチップに最適化されているらしい事、Appleの機械学習フレームワークであるCoreMLが使用されている事、などが挙げられます。
CoreMLを使用していると明記した音楽アプリは(もちろん他にもあるでしょうけれど)初めて見るため興味深く感じています。
また、A12Z Bionicチップに最適化という点はiPad Proでの使用を前提、推奨として開発されているのかもしれません。


元々djay Proは、AIを使用したミックス機能を搭載するなど、AIをDJソフトに活用する第一人者ソフトとして展開してきました。
今回新たなAI活用の機能を搭載する事でさらにDJソフトのAI化を押し進めるのかもしれません。