MITの研究チームが動画から特定の楽器音を抽出するプログラム
The Sound Of Pixels
を作成しました。
まずは動画をご覧ください。
いかがですか。
複数楽器が演奏されている動画の中の、特定の楽器をクリックするとその楽器の音だけが抽出されるという事です。
面白いですね。
動画にもありますが、複数混在している楽器音が、動画内空間のどの方向から発音されているのかを認識し、抽出できるらしいです。
すごいですね！
今はまだデュエット（２つの楽器音）までしか試みされていない様ですが、今後は多数の楽器演奏の中から特定の楽器の発音の場所を特定し、抽出する事もできるかもしれません。
３次元的に波形がビジュアル化されるとそれだけで面白い映像作品になりそうです。
音を視覚的に認知できる、新しい表現方法良いですね。
波形領域でのAI音楽の活用、さらに今後も注目です！