「人間が聴いたことのない音色」を、グーグルのAIが生み出した（音・動画あり）

2017年6月6日 15時0分

ジェシー・エンゲルが演奏している楽器から奏でられるのは、まるでクラヴィコードとハモンドオルガンの間をとったような音色だった。

エンゲルがノートパソコンの画面に表示されたマーカーをドラッグすると、音色のクラヴィコードとハモンドオルガンの比率が変化した。さっきまで15パーセントほどだったクラヴィコードの音色が、今度は全体の75パーセント近くを占めるようになる。

「2つの楽器を同時に演奏するのとは違うんです」。エンゲルの同僚、シンジョン・レズニックが部屋の反対側からそう言う。このマシンとそのソフトウェアは、ハモンドオルガンの音の上にクラヴィコードの音を重ねているのではなく、2つの楽器が発する音の数学的特性を用いて、まったく新しい音色をつくりだしているのだ。AIを搭載したそのマシンは、バイオリンからバラフォンまで約1,000種類の楽器を組み合わせて、無数の新しい音色を生み出すことができる。

エンゲルとレズニックはGoogle Magenta［日本語版記事］のプロジェクトメンバーだ。Google MagentaはグーグルのAI研究者からなる小規模なチームで、独自のアート制作を行うためのコンピューターシステムを構築している。彼らがいま取り組んでいるのは「NSynth」と呼ばれるプロジェクトで、その目的はミュージシャンにまったく新しい音楽制作ツールを提供することだ。

音の境界線

Magentaは、グーグルのAI研究部門のひとつであるGoogle Brainの一部である。Google BrainはグーグルのAI研究の中枢であり、少数の研究者たちがニューラルネットワークやマシンラーニングの限界に挑んでいる。近年では、これらの技術が画像や音声コマンドの認識、翻訳といったさまざまなタスクにおいて非常に効果的であることが証明されているが、Magentaチームはこれらの技術をつかって機械に新たな音楽やアートを生み出す方法を学習させようとしているのだ。

NSynthプロジェクトは、大規模な音のデータベースの構築から始まった。エンゲルたちは約1,000種類の楽器から幅広い音を収集し、それをニューラルネットワークに投入した。ニューラルネットは音を分析することで各楽器の音色の特徴を学習し、それぞれに数学的な「ベクトル」をつくりだす。そのベクトルによって、マシンはハモンドオルガンやクラヴィコードといった各楽器の音を模倣し、さらに2つの音を組み合わせることも可能になった。

エンゲルが披露した楽器「slider」に加え、Magentaは一度に異なる4つの楽器の音を行き来できる2次元インターフェイスを完成させた。彼らはこのアイデアをさらに発展させ、芸術的創造の限界に挑んでいこうと考えている。たとえば、次にできるニューラルネットワークは、楽器の音色の新しい模倣方法と組み合わせ方を学習するかもしれない。AIがほかのAIと連携して機能するようになる可能性だってある。

Magentaは、AI研究者やコンピューターサイエンティストたちのために新しい“遊び場”も生んだ。彼らはNSynthのアルゴリズムに関する研究論文を公開し、さらに彼らの音のデータベースを誰でも利用できるようにしたのだ。Magentaのチームを率いるダグラス・エックは、ミュージシャンだけでなくあらゆるアーティストのための幅広いツールを生み出すことを期待している。しかし幅が広すぎてもいけない。制約のないアートはアートではない。いまあるものと無限との間のバランスを見つけることに、その難しさがあるのだ。