Magentaから初のVSTプラグインがリリースされました。
DDSP-VSTはオーディオ入力を学習された任意の音に変換し出力する新しいタイプのシンセサイザーです。
https://magenta.tensorflow.org/ddsp-vst
Transform the familiar into the unexpected
既存の楽器音を他の楽器で演奏する新しい演奏体験
デモ演奏動画を見てみましょう。
ギターの演奏をフルートの様な音色に変換し、まるでギターシンセの様な演奏となっています。
Explore wild and funky new sounds
音色の加工も機械学習を使用した多彩なパラメータで実現
Magentaの機械学習音響合成を使用している事により、通常のシンセサイザープラグイン以上に多彩で、未知の音を作る事を可能にするパラメータが用意されています。
既存のシンセ音ではない音を探し求めていた音楽家の方には新しい音色を創造できる可能性があります。
Train your own models
自身の音色を学習させ独自モデルの作成が可能
DDSP-VSTの最大の特徴でありもっとも大きな可能性を秘めているのが独自モデルの作成が可能であることかもしれません。
プリセットになり楽器音、今まで楽器音に使用されていない音、など自分で用意して学習、独自モデルを作成することができます。
理論上無限の音色をしかも世界で唯一オリジナルな音色を、作成、使用する事が可能です。
独自モデルの作成はColab Notebookで行います。
https://colab.research.google.com/github/magenta/ddsp/blob/main/ddsp/colab/demos/Train_VST.ipynb
Mac版ダウンロード可能。さらにGitHubでコードの確認も。Windows版は近日発表。
Mac版ダウンロード下記リンクから
https://g.co/magenta/ddsp-vst-mac
Windows版は近日発表とアナウンスされています。
さらにオープンソースのMagentaらしくコードは全て公開されGithubで確認することができます。
https://github.com/magenta/ddsp-vst
ソースコードを研究したご自身の新しい楽器プログラムに活かすなどの期待ができます。
なかなか公開されることがないものですので貴重な資料ともなるでしょう。
この先AIの音楽制作活用は、音楽生成よりも音声、音響合成など音色の領域が中心となっていくと考えています。
DDSP-VSTはMagentaにおいてもその流れを示唆する先駆けとなるのかもしれません。