世界初?果物が楽器に!? Magenta(Googleの音楽ディープラーニングライブラリー)で作る果物楽器”Fruit Genie”

世界初?でしょうか?
果物が楽器になりました。
Google I/O(Googleの開発者向け発表イベント)で演奏妓楼された通称”Fruit Genie”です。

ユニークな活動をしているロックバンドThe Flaming LipsとクリエーティブチームのDeepLocal、そしてMagenta(Googleの音楽ディープラーニングライブラリー)開発チームによって作られたFruit Genie。
こちらの動画をご覧ください。
果物を楽器として演奏しています。




Fruit Genieについて

Magenta(Googleの音楽ディープラーニングライブラリー)のプログラムの一つにPiaono Genieというものがあります。
http://piano-genie.glitch.me/

これはコンピューターのキーボードなど8つのトリガーで88鍵フルスケールのピアノ演奏を可能にしたAI音楽プログラムです。
Performance RNNと同じInternational Piano-e-Competitionという国際的なピアノコンクールのデータを学習モデルに採用しています。
8つのトリガーを演奏に従い88鍵盤全てを活用できる様に移動させながら高度なピアノ曲演奏を実現するプログラムです。

そのトリガーとして果物!!が採用されたのがFruit Genieです。

実は作成方法とソースコードは公開されているので誰でも作る事が可能です。
https://github.com/Deeplocal/fruit-genie

必要なものは
制御するコンピュータとしてRaspberry Pi 約50ドル
ラズパイと果物を結線するためのTeensy USBボード 約20ドル
Micro SD カード 約13ドル
結線のケーブル 約6ドル
そして果物

Fruit Genieは、トリガーとして果物が利用されていますが、当然ながら他のものも使用できます。
普通に楽器ぽくドラムパッドの様な物をしようしたり、あるいは果物以上にユニークで意外なものも可能なはずです。
アイディア次第で、これまでにない楽器演奏が実現できるかもしれません。

また学習モデルを自身で作る事で、ピアノ曲ではない他の演奏スタイルも可能でしょう。

Magenta、自動作曲のみならず工夫次第で色々な可能性があります。

今回のFruit Genieに限らず個人的にRaspberry Piなどを使用したエッジAIの音楽活用は是非何か新しい事をやりたいと思っています。

過去の関連記事

Googleが“ローカルでのエッジAI”でIoT端末を構築するためのプラットフォーム「Coral」(β)を発表
https://canplay-music.com/2019/03/17/coral-dev-board/

Raspberry PiでのエッジAIを実現するTPUアクセラレーター “Coral USB Accelerator”
https://canplay-music.com/2019/04/15/coral-usb-accelerator/

是非皆様もご興味を持ったらチャレンジしてみてください。

記事投稿日:2019/5/25