深層学習AIモデルがリアルタイム音楽制作で利用可能に！「Neutone」登場
AIの活用による創造性の発展に取り組むQosmoから、深層学習を使ったリアルタイムDSP(デジタル音処理)モデルをDAW(デジタル・オーディオ・ワークステーション)上で利用可能にするプラグイン「Neutone」のβ版がリリースされた。
同プラグインにより、音楽制作においてこれまでアーティストやクリエーターにとって敷居の高かったAIの利用を、汎用的なプラグインを通じて、簡単に創作プロセスに導入できるようになるという。
また、AIの研究者やエンジニアは、同プラットフォームを通じて、新規に開発されたモデルを、簡単に音楽制作者と共有できるようになる。
利用可能なモデルが多数登場中
これまでAIモデルを利用する上では、Pythonプログラミングの習得やGPUマシンなどの環境構築が不可欠だった。
同プラグインは、VST及びAudio Unit形式のプラグインとして開発され、汎用的なマシン上で動作するAbleton LiveやLogicなどのDAW上でリアルタイムに動作させることができる。
すでに多数のAI音声変換モデルが同プラグイン向けに発表されており、プラグイン内のレポジトリーよりダウンロード可能だ。
利用可能なモデルの一部として、入力音をAmen Breakに変換する「RAVE.amen」、入力音をドラムキットに変換「RAVE.drumkit」、入力音を声に変換する「RAVE.evoice 」及び 「RAVE.jvoice」、入力音を月面宇宙飛行士との交信風に変換「RAVE.NASA入力音をkora(アフリカのハープ)に変換する「RAVE.kora」、入力音をバイオリンに変換する「RAVE.violin」、深層学習を使ったオーバードライブ「convld-overdrive.random」、深層学習を使ったリバーブ「temporalconv.reverb」などがある。
これらのモデルはまだ実験的な段階のものもあるが、今後の開発によって更に量・質ともにアップデートされていく予定とのこと。各モデルの詳細は「Neutone」公式ウェブサイトより確認できる。
また、AI研究者・開発者は、自身の開発したモデルを「Neutone」プラットフォーム上で公開することが可能だ。同社の提供する「NeutoneSDK」でモデルをラップすることにより、簡単「Neutone」プラグインに対応させることができる。
AI研究者・エンジニアも、「Neutone」β版をチェックしてみては。
「Neutone」公式サイト：https://neutone.space/
製品紹介ビデオ：https://vimeo.com/714346096
開発者向けSDK：https://github.com/QosmoInc/neutone_sdk
「Neutone」Discordチャネル：https://discord.com/invite/zaUbtyxDRZ
