Magenta(Googleの音楽機械学習ライブラリ）のRNNセルはどこにあるのか？またどの様に書き換えや開発を行うのか？ 基本的にMagentaのRNNセルはevents_rnn_graph.pyという共有ファイルの中に記述されています。 GitHubのレポジトリでいうと https://github.com/magenta/magenta/blob/d1b5ea5853a19890a5db2fd5eb0afe3a3778be15/magenta/models/shared/events_rnn_graph.py の２８〜３２行目のmake_rnn_cell関数のところです。 base_cell=rnn.BasicLSTMCellのBasicLSTMCellが選択されているRNNセルです。 このRNNセルはTensorFlowのRNNセルクラスですのでTensorFlowのサイトからセルの中身がどんな処理を行うプログラムなのか？確認する事ができます。 tf.compat.v1.nn.rnn_cell.BasicLSTMCellのページはこちらhttps://www.tensorflow.org/api_docs/python/tf/compat/v1/nn/rnn_cell/BasicLSTMCell おそらくLSTMが、音楽生成にはもっとも適していそうなので（当然Magentaの開発者の方々が1番検証されたでしょう）他のセルを試す必要はない様に思えます。がもし、他のセルを使用したい場合はBasicLSTMCellを他のセルに変えれば良いわけです。 TensorFlowのRNNセルのページはこちらです。どんなセルがあるか確認できます。 https://www.tensorflow.org/api_docs/python/tf/compat/v1/nn/rnn_cell 各セルの解説は今回はしません。また全ての書き換えを実践・検証したわけではないのできるものできないものがあるかもしれませんが、可能なセルについては簡単に書き換えが可能でした。 音楽生成もそれぞれ違いを検証しましたが、すぐにわかる明らかな違いはありませんでした。しかし、詳細に実践していけば当然違いはあると思います。また何か発見したら報告したいと思います。

CANPLAYでもAI作曲科、音楽AI開発科、ともに授業で解説しているGoogleの音楽機械学習ライブラリMagentahttps://magenta.tensorflow.org/ についてRNNのネットワーク構成はどこで確認できるのか？Encoder Decoderのファイルはどこ？と質問をいただきましたので記事にします。 GitHubのurlリンクでお伝えします。 Magentaの音楽生成各RNNのネットワーク構成についてはevents_rnn_model.pyhttps://github.com/magenta/magenta/blob/master/magenta/models/shared/events_rnn_model.py 各encoder decoderに関してはnote_seqの中に複数のPerformance_RNN関連ファイルhttps://github.com/magenta/note-seq/tree/master/note_seq があるのでそちらを確認ください。 素晴らしい高度な質問で感心しました。CANPLAY生徒様、音楽AIに関わる皆様の参考になれば幸いです。

機械学習音楽ライブラリ Magenta が2.1.3ヘバージョンアップしました。 特に新機能はなく地味な内容ではありますが、重要な修正点があり、Python3.8への対応と3.9への非対応が記述されております。 また、GanSynth（Gan＝敵対的生成ネットワークを使用したシンセサイザーモデル）について、データの取り扱いに一部修正がありました。こちらは依存ライブラリの関係だと思います。 地味なアップデートでしたが、そんな中稀に非常に重要な修正内容が含まれており、（最近その対応に追われておりました）やはり常にチェックを怠る事はできないと感じております。

Googleの機械学習音楽プロジェクトMagentaから新しいウェブアプリの登場です。 Tone Transferhttps://sites.research.google/tonetransfer Tone Transferは、歌声や楽器音、その他あらゆるオーディオデータを他の楽器の音に変えるという、機械学習だかこそ実現できる新しいコンセプトの高度なプログラムとなっています。文字で解説するよりもまずは動画でどんな事が行えるのか見てみましょう。自分の歌を、フルート、サックス、トランペット、ヴァイオリンという４つの楽器音に変換してみます。 いかがでしょうか？録音はPCのマイクから行っていますが問題なく変換可能でした。標準で用意されている入力用のサンプルでもわかりますが、歌声や楽器音だけでなく、手拍子や雑音など、音程のない音でも変換でき、それらしくもユニークな演奏になる様です。注意点としては、入力オーディオは単音のみ認識で和音は不可、エラーが出ます。単音の歌などは問題ないですが、ピアノやギターで和音演奏は意図した通りの変換が行われません。それでは実践方法を簡単に解説していきます。 １・まずは用意されているサンプルで視聴 サンプルは入力（変換元）が６種類、変換用楽器が上述したフルート、サックス、トランペット、ヴァイオリンの４種類用意されています。どんな事ができるのか？まずは視聴をしてみてください。レコーディングは入力の最下列にあるAdd your inputをクリックします。 ２・自分の歌をレコーディング Recordボタンで録音開始です。他に既存のオーディオファイルをアップロードし使用する事もできます。 気に入ったメロディー以外に、ドラムループや特殊音などをアップするのもあり得ない効果が出て面白いかもしれません。 ３・変換 録音またはアップロードが完了するとTransformボタンが現れますのでクリックして変換を行います。少し待つと変換が完了しますので左側のTransformationから楽器を選んで視聴する事ができます。再生ボタンの脇にコントロール機能もあり、原音、変換のミックス量やオクターブなどを調整できるので色々試すと新たな楽器音を作る事などもできるかもしれません。 Pythonで希望の楽器音を使用した独自モデルの作成も可能です 今回のTone Transfer